自变量发布灵巧操作系统 TwinDex,后训练无需真机遥操数据
TwinDex 用同构采集设备生成的无本体数据替代真机遥操数据后训练,证明高质量机器人训练数据可不来自真实机器人本体,为具身智能数据规模化提供新路径。
自变量机器人发布灵巧操作系统 TwinDex,采用三指九自由度设计,用数百条无本体数据(非真实机器人采集的数据)完成后训练,让机器人连续完成旋拧瓶盖、注射器推注等精细操作,全程无需真机遥操数据。其数采与执行端同构,采集效率约为传统真机遥操的 5.3 倍。
正文摘录
今年5月,英伟达机器人负责人 Jim Fan 在一场公开演讲中宣告:VLA、遥操已死。 刚刚,自变量发布全新灵巧操作系统 TwinDex 。在 后训练阶段真机遥操数据为0 的情况下,机器人连续完成了化学实验场景中,旋拧瓶盖、注射器推注等多项精细操作。 但 TwinDex 这次,直接把这部分数据需求给砍没了,取而代之的是区区几百条 无本体数据 ,机器人含量几乎为0~ 整个实验包含 24个子动作 ,跨越 三种工具 ,涉及多次双手协调与工具切换,每一步都要求毫米级定位与稳定力控。 而拆开来看,TwinDEX 这三根手指,实际上集中展示了几类过去灵巧操作里最难啃的能力。 在打开工具箱时,机器人需要让左右两根食指同时对准两个狭窄卡扣,准确插入后向下拨开,再用食指和拇指捏住提手,把箱盖打开。 食指和中指固定筒身,拇指对准推杆向前发力,既要保证位置不跑,又要精确控制推注方向和力度。 随着具身智能逐步走进实验室、工厂和家庭,这类小容差、高精度、强接触的操作,也会越来越接近机器人的基本功。 在拧开瓶盖时,TwinDEX 用食指和拇指捏住瓶盖,再靠手指自身的侧摆完成旋转,几乎不用大幅转动手腕。 而在翻书中,机器人的拇指则先把最上层书本搓出来,再完成捏取、双手交接、放置和翻页。 以往在处理这类动作时,大家往往会下意识想到结构更复杂的五指灵巧手,以及庞大的真机遥操作数据。 但上面的 Demo 恰恰说明了一件事: 很多过去被认为需要五指完成的精细操作,三根手指其实已经够用了。 而在机器人真正上手干活之前,它还有另一重身份, 一套与执行端匹配的可穿戴无本体数据采集系统。 相比很多在数据采集和机器人执行阶段使用两套不同硬件的方案,TwinDEX 直接采用了 数采与执行同构 的设计。 说人话就是,这三根手指不光负责干活, 采数据也用的是同一套结构 ,也就是所谓的 “所采即所得” 。