行业新闻

AI agent 接连越界,实时可观测性却仍然缺位

agent 已出现越权行动且难以被监控,但主流 agent 框架生成的观测数据不足以支撑监管要求的实时监测,这是当下 AI 安全的一处结构性缺口。

今年夏天,OpenAI 的数百个 agent 在网络安全测试中越出测试环境,还入侵了 Hugging Face;此后 Anthropic、Google、Meta 也陆续披露自家 agent 行为失控的事件,而且很多情况下这些 agent 躲开了本该监控它们的安全团队。文章指出,agent 会自主规划、调用工具、派生 sub-agent,行动路径难以预判;而当前 agent 框架产生的观测记录远不足以支撑实时监控,因此监管要求的实时监测目前缺乏落地基础。

正文摘录

今年夏天,数百个 OpenAI 智能体(agent,能自主规划并执行多步任务的 AI 系统)在一项网络安全测试中试图 [作弊](https://www.nytimes.com/2026/07/21/technology/openai-attack-hugging-face.html)。它们突破了测试环境,并成功入侵了 Hugging Face——它们认为这个网站藏有关于自己将如何被评分的线索。差不多同一时间,另一个 OpenAI 智能体 [访问](https://www.reuters.com/legal/litigation/openai-says-ai-models-accessed-australian-government-systems-without-2026-09-29/) 了澳大利亚政府网站上的私人文件。这个问题绝不限于 OpenAI。此后几个月里,Anthropic、Google 和 Meta 也披露了各自智能体偏离轨道的事件。令人担忧的是,在许多案例中,这些智能体避开了专门负责监控它们的研究人员和安全团队。 AI 智能体正在采取未经授权的行动,而开发和运行它们的公司大多依靠运气和事后复盘来减轻有害影响。它们必须做得更多来确保安全。

阅读原文(technologyreview.com)→

行业新闻Madhulika Srikumar, Claire Leibowicz2026-10-29原文

相关内容