SuperMemory-VQA: 面向长时记忆的自我中心视觉问答基准

TL;DR SuperMemory-VQA 用 AI 眼镜记录 52.9 小时多模态日常数据构建自适应 VQA 基准，考察长期记忆，并设“无法回答”选项检验幻觉，揭示现有系统在真实记忆任务上远未可靠。

问题

问题背景

当前 AI 眼镜等可穿戴设备正成为个性化记忆助理的关键载体，其核心价值在于从长期第一人称视频流中捕捉并弥补人类的日常记忆断层。行业对能够跨越数小时甚至数天、理解情境与意图的长时记忆能力提出迫切需求，但与之匹配的基准测试仍然缺位。

现有方法局限

现有以自我为中心的视频数据集（如 Ego4D、EPIC-KITCHENS）及其问答任务主要存在三个技术局限：

• 时间尺度短：仅关注几秒到几分钟的裁剪片段，评估短时感知（如动作识别、物体定位），无法触及人类真实记忆所依赖的跨片段信息整合。
• 检索与推理浅：问题设计偏重视觉模式匹配，缺乏对时间线重建、意图回忆、对话记忆等高层语义的需求。模型常利用单一帧的统计线索即可回答，并未建立真正的长期记忆。
• 幻觉风险未控制：缺少显式的“无法回答”机制，模型即使面对证据不足的提问也会强行输出，与现实应用中要求可靠回忆与拒识的场景严重脱节。

为什么这个问题难/重要

长时记忆问答的难度在于：需要处理数小时乃至多天的多模态数据（RGB、音频、眼动、IMU 等），并在庞大的视频存档中精确定位证据窗口；同时要求跨模态对齐与因果推理（例如将对话内容与后续行为关联），并具备元认知能力——判断记忆中的证据是否充分以决定是否作答。业界（如 Meta、Apple）已在 AI 眼镜上重投入，面向个人记忆增强的产品化要求模型不仅能“看得见”，更要“记得住、说得准”。该基准通过引入无法回答选项与覆盖6类记忆任务的4853个问答对，首次系统性衡量了真实记忆场景下的鲁棒性，其揭示的性能断层（当前最佳框架仍远低于人类水平）表明：缺乏专用架构的长时记忆 AI 将无法在开放世界中可靠部署。

行业类比

如同自动驾驶需要基于真实长尾场景的闭环测试才能评估安全决策，AI 记忆助手也需要贯穿生活长周期、涵盖“遗忘”类问题的基准——SuperMemory-VQA 正是为此而设计的记忆版“长尾耐力测试”。

核心洞察

• **SuperMemory-VQA** 将以自我为中心的视觉问答从短期感知推进到长期、实用化记忆评估。以往数据集 (如 Ego4D) 主要针对动作识别或数秒片段内的通用问答，而该基准聚焦于人类在日常生活中真正会遇到的记忆空白 —— 物品位置、意图回忆、时间线重建等，并引入「不可回答」选项作为幻觉鲁棒性的显式探针。这种**任务设计与真实需求的对齐**，让基准测试结果能直接反映 AI 助理在个人记忆辅助场景中的可行性，而不仅是模型在标准 VQA 上的分数。
• **多模态证据链的缺失**是该基准揭示的核心瓶颈。尽管数据流包含 RGB、音频转录、眼动、IMU 与 SLAM 轨迹，现有 agentic 框架及 LLM 骨干在需要跨模态、跨时间推理时仍频繁失败。对比纯文本 LLM 的评估表明，视觉信息并未被有效利用；这暗示**简单堆叠多模态编码器 + 长上下文窗口**不足以实现稳健的长期记忆。基准中「不可回答」选项的高错误率进一步说明，模型缺乏「可靠证据不足时不答」的元认知能力，为下一代记忆架构的设计提供了明确的攻关方向：在推理链中显式建模证据充分性，而非盲目生成答案。

方法

数据采集与多模态同步

SuperMemory‑VQA 使用 AI 眼镜 记录 52.9 小时的无脚本日常活动，捕获 RGB 视频 (30 fps)、音频转录、眼动追踪 (120 Hz)、IMU 惯性测量 和 SLAM 轨迹 五路同步数据流。所有模态严格对齐时间戳，构成完整的第一人称感知日志。

标注流水线

标注分为两个阶段，均有人工验证。

1. 稠密视频字幕
   先由视觉语言模型为连续视频片段生成自然语言描述，捕捉事件、对象和空间变化，形成结构化时序记忆基底。

2. 代理式 QA 生成
   基于字幕，利用 LLM 代理 依照人工设计的 任务分类体系（包含对象记忆、位置记忆、意图回忆、视觉场景回忆、时序重建、对话记忆和上下文检索七种类型）自动生成 多项选择题与参考答案。每题强制包含 “无法回答 (Unanswerable)” 选项，用于检测幻觉。随后由人类标注员逐题验证答案正确性、是否可答、改写不当表述，并确保选项无歧义。

输出数据集与评测

最终得到 4,853 个高质量 QA 对，每个问题都绑定到原始多模态证据片段。数据集按正式划分提供训练与测试子集。

评测时，VLM 代理框架 接收视频流与问题，需从长时序中检索相关片段并推理给出答案。主要指标为 准确率 (Accuracy)，并特别关注 “无法回答” 问题的召回能力（即模型是否能在证据不足时拒绝作答），以评估 幻觉鲁棒性。基准测试涵盖多种前沿代理体系（如 VideoAgent）和不同 LLM 骨干，揭示现有系统在真实记忆任务上的显著差距。

不同于 Ego4D 等侧重短时感知或单任务识别的数据集，SuperMemory‑VQA 首次将问题锚定在 长时、以人为中心的实用记忆缺口，通过不可回答选项和代理式生成流程，推动 AI 记忆助手从 “能答” 向 “懂拒答” 演进。

实验

实验设计

在新建的 SuperMemory-VQA 数据集上，对主流 agentic 框架（如 VideoAgent）与多个 LLM 骨干（包括闭源与开源模型）进行零样本 / 少样本基准测试。所有问题均设为 多选题，并强制包含 “无法回答” 选项以评估幻觉鲁棒性。评估从纯文本 LLM（仅用转录）到全模态流水线逐阶展开，覆盖 6 类记忆任务（物体位置、意图回忆、视觉场景、时间线重建、对话记忆、上下文检索）。

关键发现

• 即使最强模型组合，在真实长时域第一视角视频上的整体准确率仍远低于实用门槛，“无法回答”触发率与实际证据缺失严重不匹配。
• 纯文本 LLM 依赖音频转录即可获得部分线索，但在需要视觉定位或空间关系的题目上性能骤降，暴露出多模态融合的短板。
• 逐视频与逐参与者分析显示，性能波动极大，当前系统对连续事件的时间因果推理与长期状态追踪缺乏稳定建模。

与基线对比解读

以 VideoAgent 为代表的结构化检索 + 规划范式在简单事实查询上优于直接馈送完整字幕的朴素 LLM，但面对需要跨时序关联的复杂问题时仍有显著退化。对比之下，端到端多模态 LLM 在低延迟下表现接近，但幻觉率更高、更倾向猜测而非选择“无法回答”。这指向一个核心瓶颈：现有架构均未内建 证据充分性估计 机制，导致在信息不足时无法克制输出，这正是该基准专门鞭策的方向。

行业影响

落地场景

SuperMemory-VQA 直接瞄准下一代可穿戴 AI 助手的核心能力缺口：长期、多模态、以人为中心的记忆检索。该基准适用于 AI 眼镜、智能耳机等持续记录设备，赋能产品在以下场景落地：

• 个人记忆管家：用户可自然提问“上周五开会时我答应谁要发文件？”或“我放在客厅茶几上的钥匙后来去哪了？”，系统从数小时甚至数天的自我中心视频流中精准定位答案。
• 企业知识管理：在医疗问诊、设备巡检、协同研发中，从业者可回顾第一视角操作记录，通过“上个月调试那台服务器的故障代码是什么？”等查询加速经验复用。
• 无障碍与认知辅助：为记忆障碍人群提供外部记忆体，降低日常遗忘带来的焦虑。

商业价值

该数据集推动的记忆验证技术，可同时拉动三条价值线：

• 体验提升：精准的长期记忆检索让 AI 眼镜从“感知玩具”进化为“认知伙伴”，用户留存和付费意愿显著提高。硬核的可回答性判断（unanswerable option）减少幻觉，避免错误信息带来的信任崩塌。
• 降本增效：企业应用中，自动化的情境检索可节省大量人工回看视频、梳理文本的时间；在客服、运维等场景，新人培训周期大幅缩短。
• 增收：对硬件厂商，差异化的记忆能力可支撑更高溢价；对服务提供商，基于记忆的个性化推荐（如“前两天你看过的那本书的续作到货了”）开辟新的广告和订阅收入。

与现有产品/工作流的接口

SuperMemory-VQA 并非孤立存在，它与当前技术栈形成互补：

• 与边缘端硬件集成：直接对接 AR/VR 眼镜的 RGB 相机、麦克风阵列、IMU，利用 SLAM 提供空间上下文。与 Meta Ray-Ban Stories、Apple Vision Pro 这类设备的原始多模态流无缝衔接。
• 与云侧记忆管线集成：可嵌入现有的检索增强生成（RAG） 框架，但增加了一个关键环节——证据充分性评分，即当检索到的多模态信息不足以支持明确回答时，系统主动输出“无法回答”。这比盲目生成更符合工业级可靠性要求。
• 对代理框架的改造：现有 VideoAgent 等代理架构需引入分层记忆索引（关键帧、场景图、对话摘要）与时序验证模块，SuperMemory-VQA 的多选+无法回答设计可直接作为回归测试集，衡量每次架构迭代对长期记忆可靠性的提升。

具体落地案例

• 电商直播复盘：运营人员佩戴 AI 眼镜记录整场直播，事后提问“观众问得最多的一款护肤品在第几分钟出现？当时主播怎么介绍的？”系统跨模态对齐语音与画面，快速生成复盘要点，替代人工逐帧查找。
• 医疗巡诊记录：医生在病房使用智能眼镜记录查房过程，后续查询“3 天前 17 床患者主诉疼痛的部位和视觉评分是多少？”，系统精确回溯对应时刻的音频转录与第一视角画面，避免病历遗漏，提升医疗质量与效率。

该基准暴露的缺陷（现有系统准确率大幅低于人类）为工业界指明方向：构建有证据意识的记忆代理，这将是下一代 AI 助手商业化的技术分水岭。

局限

• 数据集规模相对有限，仅包含 **52.9 小时**视频和 **4,853 个QA对**，参与者人数未披露，可能来自单一机构或人群，其日常活动、文化背景等多样性不足以代表全球用户的长时记忆需求。真实场景中的个人记忆高度异构，涵盖琐碎事件、情感关联等，当前数据覆盖的记忆类别仍可能遗漏重要维度，泛化性存疑。此外，视频片段未经流式、在线处理模拟，而是按完整视频进行离线索引和问答，与AI眼镜实时、资源受限的部署环境差距较大，无法评估实际可用性。
• 基准测试仅采用**多项选择题**形式，虽引入「无法回答」选项以检验幻觉，但过于简化了真实记忆辅助场景——用户更常以开放式问题提出需求，且答案可能需从多模态证据链中推断，甚至允许模糊或概率性回复。评估指标仅有**准确率**，未考虑答案置信度、检索效率、重复查询时的记忆更新能力等工程关键指标，难以全面反映系统优劣。
• 论文作为基准研究，主要贡献是**数据集构建和基线评测**，未针对发现的内存缺陷提出新的算法、架构或训练策略，对推动具体技术突破的直接指导有限。虽然揭示了现有智能体框架和LLM在长程任务上的不足，但未深入分析失败模式或提供改进方向，工程落地者难以从当前工作中获得设计新记忆系统的具体见解，实践价值局限于评测参考。