破晓智能发布 SeePhys Hub 全身全模态数据采集系统
26 岁的哈工大（深圳）教授杨朔创办的破晓智能，推出用四目头环加腰腿追踪器和触觉手套采集全身动作与触觉数据的设备，试图补上第一视角视频里缺失的身体运动和接触信息，为 2027 年要做的全模态世界模型备料。
从 EgoScale 的两万多小时人类操作数据，到 Dyna-2 的百万小时预训练，机器人正扩大从人类行为中学习的规模。这两条训练路线都在探索同一件事：人类操作数据能否突破机器人本体采集的规模限制，为机器人学习更多任务打底。
正文摘录
- title: 国内最年轻AI教授创业：要让世界模型走向全身全模态 - sourcecompany: 量子位 - bodymarkdown: 今年，从 EgoScale 使用的两万多小时人类操作数据，到 Dyna-2 的百万小时预训练，机器人正在扩大从人类行为中学习的规模。 这两项研究采用了不同的模型训练路线，但都在探索一件事： 人类操作数据能否突破机器人本体采集的规模限制，为机器人学习更多任务提供基础 。 进一步的问题随之而来：当机器人需要迈步、弯腰、协调双手完成任务时，每小时数据里，究竟留下了多少身体与环境交互的信息？ 拿起一个包裹，人需要先走到合适的位置，弯腰、伸手、抓取，再调整身体姿态将包裹搬起来。沿着床边移动、拉平被子，脚步、手臂动作和接触力度也需要持续协调。 在以视觉为主的 Ego 数据中，我们能看到人完成了什么，却不一定能完整记录这些动作背后的身体状态。 10 月 14 日，破晓智能联合天珑移动，发布 全身全模态数据采集系统 SeePhys Hub ，尝试给 Ego 补上这些信息。 整套设备由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成，通过视觉与运动信号融合恢复全身姿态，并根据任务需求采集手部接触压力。 它希望在保留 Ego 轻便、易于规模化采集优势的同时，把视野之外的身体运动和触觉信息重新带回来。 对于破晓智能而言，这不是简单增加几种传感器，而是在高精度但采集成本较高的动捕、真机数据，与轻量但信息相对有限的 Ego 数据之间，探索另一种采集方式。 Ego 很有吸引力，人戴上设备，在日常场景中完成操作，相机跟着人走，采集不必始终围绕机器人本体展开。 例如，人抬手去够高处的物品，肩膀、手臂和躯干需要一起调整。第一视角相机能够拍到双手，却不一定看得到手肘和腿部的位置。遇到身体自身遮挡、物体遮挡或视角盲区时，全身姿态的估计就更困难。