华为诺亚方舟 Memento 3 通关 ARC-AGI-3 全部 25 款游戏,操作次数比人类少 56%
华为团队的 Memento 3 证明,不改模型权重、只让 AI 在外部维护一份可执行可回滚的代码世界模型,也能在陌生游戏里快速自我迭代;它通关 ARC-AGI-3 全部 25 款游戏,操作量比人类少 56%。
华为诺亚方舟实验室联合 UCL 等团队提出 Memento 3,用 Code as Model(代码即模型)方式让 AI 在游戏里自己写代码、验证并回滚规则,通关 ARC-AGI-3 全部 25 款游戏、183 个关卡,拿到满分 100 的 RHAE(相对人类行动效率),总操作 7518 次,比人类少约 56%,且全程未更新底模 Claude Opus 5 的权重,也没做游戏微调。
正文摘录
最新一项研究,华为诺亚方舟实验室联合 UCL 等团队拿出了一个名叫 Memento 3 的 AI 智能体系统—— 而 Memento 3 只用了 7518 次操作,比人类少操作约 56%,最终拿下了满分 100 的 RHAE 成绩(Relative Human Action Efficiency,相对人类行动效率)。 更离谱的是,这套系统以 Claude Opus 5 为底模,全程没有更新模型权重,也没有针对游戏进行微调。 作为对比,Claude Opus 5 在 ARC Prize 官方标准测试框架下,平均 RHAE 只有约 40.7 分。 这套方法不光能玩解谜游戏,研究团队还让它跑去打了 Atari 经典游戏 Pong(乒乓球)。 结果,AI 自己摸索出控制策略,随后不用再向大模型请求推理,就连续三局把对手打成了 21:0。 Model-Based Recursive Self-Improvement,基于世界模型的递归自我改进。 它们来自 ARC Prize 推出的 ARC-AGI-3,关注 AI 评测的朋友,对 ARC 系列应该不陌生。 规则,是需要 AI 自己猜的;目标,是需要 AI 自己找的;操作会产生什么效果,是需要 AI 自己试的。 这 25 款公开游戏一共包含 183 个关卡,画面大多由简单的像素、方块、颜色和图形组成。 ARC Prize 的测试数据显示,在一款需要操控变形虫移动、变色的益智游戏 r11l 中,10 名参与者全部通关;而另一款考验符号破译能力的解谜游戏 tr87,12 人挑战,只有 6 人成功。 普林斯顿大学推出的 Continual Harness 只通关了 3 款游戏,拿下 20.5 分。