Ropedia 发布六项成果：用人类第一视角视频训练机器人世界模型
Ropedia 用约 1 万小时人类第一视角视频预训练世界模型，再做机器人后训练，只需 1% 机器人数据就能超过用全量数据初始化的通用视频生成模型。
第一视角视频越来越多，但怎么从中提取相机轨迹、手部动作和物体位置变化，并与画面、文字对齐，仍是未解问题。Ropedia 在一周内集中发布六项研究：W0 检验人类视频能否提升机器人画面预测与操作，HoliWorld 把物体交互历史整理成可回查的训练问答，EgoXperience 统一重建相机、场景、双手与物体，另有面向智能体决策与控制代码的两项工作。
正文摘录
.jpg) 第一视角视频越来越多，研究人员怎样把这些记录变成能够改善机器人能力的训练信息？ 一个人拿起桌上的杯子，相机可以记录下动作的整个过程。但是如何从中提取相机轨迹、手部动作和杯子的位置变化，并将它们与画面和文字描述对齐，还是一个没有被完全解决的问题。且这些信息能否让模型预测得更准、让机器人操作得更好，就更需要通过具体任务来检验。 据机器之心了解，Ropedia 之前已推出 HOMIE 系列数据采集设备、Ropedia Foundry 数据处理平台和 Xperience 系列数据集。团队在采集与整理人类经验之外，还需要检验这些经验中哪些信息对模型有用，以及系统在具体任务中能否把信息用好。因此， 10 月 19 日至 23 日，Ropedia 举办了第一届 Ropedia Super Week，在这一周中，集中发布了六项围绕这些问题的研究。 Ropedia W0 与 DONIC 分别把人类经验用于未来画面预测和双手操作，直接检验模型能否从中受益。HoliWorld 与 EgoXperience 则关注经验如何被准确记录：前者整理物体的交互历史，并转成能够回查观测依据的训练问答；后者联合重建相机、场景、双手与物体，让几类运动信息在空间上对得起来。 模型得到信息以后，也可能在使用时出错。S-Agent 2.0 研究模型怎样借助工具与场景记忆，依据空间证据作出判断；Ropedia A0 则让编程智能体把观测、决策和检查写成控制代码，由程序完成操作。研究人员可以沿着代码追查失败原因，把修复保存在共享技能中，还可以记录执行轨迹，为后续研究准备数据。