深大与港科大提出 ECA:让 Agent 执行动作前先核验证据
为操作电脑的 AI Agent 加一道执行前核验:动作须携带可查证证据,否则不放行,用以挡住幻觉引发的误操作。
AI Agent(能连续操作多个应用、替用户完成任务的智能体)读错一个邮箱地址,后面步骤越顺畅,邮件越可能发错人。深圳大学与香港科技大学提出 ECA:模型提出动作,独立验证器回到网页结构、截图和文档中提取证据,门控程序逐项核对后才允许执行。
正文摘录
.jpg)  让 AI 帮忙发一封邮件,它可能把正文写得妥帖、附件整理得齐全,最后却发错了人。 问题出在更早的一步:它读错了邮箱地址。之后的流程越顺畅,这个错误反而越容易一路通过,直到邮件发出。 如今,桌面助手和浏览器 Agent 已经能连续操作多个应用,替用户整理文件、填写表单、处理工作。人们把更多步骤交给 AI,也就更少有机会逐项检查它读到了什么、据此作出了什么判断。 一次幻觉,开始有了真实的执行后果。 深圳大学和香港科技大学的研究者将目光放在了这个环节。他们提出 ECA(Evidence-Carrying Multimodal Agents):模型负责提出动作,独立的验证程序负责提供依据,工具在证据通过检查后执行。 这项工作的出发点很直接:当模型说「地址已经确认」「这个网站可信」时,运行系统应当拿到相应的证据。