Sharpa 提出灵巧操作三条数据路线,直指接触数据难题
灵巧操作的核心难点是接触力数据,Sharpa 提出软硬件协同、运动与交互解耦、触觉跨本体表征三条研究路线。
过去一年,具身智能(让机器人在物理世界中感知并行动)的数据路线正在转向:遥操作采集的数据贵、慢、难规模化,越来越多团队转向人类第一视角视频。英伟达 EgoScale 用 20854 小时人类视频预训练机器人策略,并拟合出一条对数线性曲线,显示数据量增加时性能按规律提升。
正文摘录
.jpg) 编辑|Panda、Youli 过去一年,具身智能的数据路线在快速转向。 遥操作数据贵、慢、难以规模化,越来越多的团队开始把目光投向 人类视频 。英伟达等团队的 EgoScale 用 20854 小时第一视角人类视频预训练机器人策略,拟合出一条对数线性曲线;HumanScale 等工作更进一步,认为在同等数据量下,第一视角视频作为预训练数据可优于真机遥操作数据。  使用人类数据预训练的 Scaling 行为,arXiv:2602.16710 对于夹爪抓取,这条路线的逻辑相对顺畅。但当执行器换成一只有二十多个自由度的灵巧手,问题变得复杂起来,因为视频会记录手是怎么动的,却不会记录用了多大的力。而对于拧瓶盖、插接头、削苹果这类需要精细操作的任务来说,成败恰恰取决于接触发生之后的几毫米运动。