Google 等提出 StreamVibe:让视频 Agent 在交互中识别用户动态意图
这篇论文要解决 Personal Agent 的核心短板:能长期记忆,却读不懂用户当下意图;它用视频流加三层意图评测,训练 Agent 判断何时该开口。
Personal Agent(个人智能体,能结合用户背景和历史记忆主动执行任务的助手)正成为大模型竞争焦点。但记住用户过去做过什么,不等于理解他此刻需要什么。Google 等团队提出 StreamVibe,通过持续视频观察捕捉用户未明说的需求,并构建覆盖显式、隐式与动态意图的三层评测体系(4,100 个样本、183.4 小时视频),让 Agent 从被动等指令转向适时主动介入。
正文摘录
.jpg)  近期,Meta 的 Muse、OpenAI 的 Dot 等产品相继推出,让 Personal Agent(个人智能体)再次成为大模型领域的关注焦点。相比传统的对话助手,这类 Agent 不再局限于回答问题,而是能够结合用户的个人背景、历史记忆与应用上下文,主动执行任务并持续推进长期目标。一个更具主动性、能够长期陪伴用户的 AI 助手,正在逐渐成为现实。 然而, 长期记忆只是 Personal Agent 的起点。记住用户过去做过什么,并不代表能够理解用户此刻需要什么。在真实场景中,用户往往不会明确说出每一个需求。做菜时反复查看步骤、操作软件时遇到困难,或任务进行中临时改变计划,这些细微的行为与环境变化,都可能暗示着新的协助需求。如何从持续变化的环境中捕捉这些信号, 理解用户尚未表达的意图,并决定何时、如何提供帮助,是 Personal Agent 走向真实世界需要解决的关键问题。 围绕这一问题, Google 等研究团队提出 StreamVibe,聚焦动态环境下的主动式视频智能体。