破晓智能发布 SeePhys Hub：为 Ego 数据补上全身运动与触觉信息
机器人数据采集团队破晓智能发布 SeePhys Hub，用轻量穿戴设备补齐 Ego 视频缺失的全身运动和触觉信息，试图在低成本与高信息量之间找平衡。
机器人数据采集一直在做轻量化：从遥操作到 UMI、再到第一视角 Ego 视频，成本越来越低。但第一视角视频拍不到躯干怎么动、双手施加了多大力。破晓智能联合天珑移动发布 SeePhys Hub，用四目头环、腕环、三个腰腿部追踪器和一副可拆卸触觉手套，同步记录全身姿态、手部动作和接触信息，走一条介于 Ego 视频与专业动捕之间的中间路线。
正文摘录
.jpg) 过去几年，机器人数据采集一直在努力做一件事： 摆脱机器人本体，让采集变得更轻、更便宜，也更容易扩大规模 。 最早，机器人主要依靠遥操作学习。操作员控制机器人完成任务，系统记录关节状态、末端动作和环境信息。这种方式得到的数据可以直接用于机器人策略训练，但代价也很明显：每一小时数据背后，都需要真实的机器人、操作设备和相应的人员投入。 后来，UMI 等便携式示教方案开始摆脱本体约束，Ego 第一视角采集则将这件事进一步简化。人戴上相机，就可以走进家庭、办公室、商店，在真实环境中完成各种操作。 数据采集终于不必总是围着机器人转了。 但当设备越来越轻，另一个问题开始暴露：我们拍下了人如何完成任务，却未必完整记录了人完成任务时的身体运动和接触状态。 比如铺床。人需要走到床边、抓住被角、抬起双臂将被子展开，再沿着床边移动，一点点拉平褶皱。身体的位置决定双手能够触及哪里，抓握位置和力度则影响布料如何展开。 一段第一视角视频可以记录眼前发生的操作，但视野之外的躯干、腿部如何运动，双手与布料接触时的压力如何变化，却无法直接测量。对于要学习全身移动灵巧操作的机器人来说，这些恰恰是重要的训练信息。 这就把机器人数据采集推向了一个新的选择：继续用更轻的设备获取更多视频，还是重新补回那些在轻量化过程中被舍弃的交互信息？ 破晓智能选择了后者，但并不打算回到繁重的专业动捕。 10 月 14 日，破晓智能（PHANES AI）联合天珑移动发布全身全模态数据采集系统 SeePhys Hub，尝试在高精度但难规模化的遥操作、动捕数据，与轻量但信息相对有限的 Ego 数据之间，探索一种新的采集范式。