蚂蚁灵波发布具身原生预训练VA模型 LingBot-VA 2.0
蚂蚁灵波发布LingBot-VA 2.0，让机器人学会预判物理世界变化，从而更智能地行动。
蚂蚁灵波发布全球首个具身原生预训练VA模型LingBot-VA 2.0，它通过因果架构从零训练，能一边看视频一边预测未来状态，让机器人提前规划动作，而非被动反应。在冰球对战、桌面整理、传送带抓取等任务中表现优于前代，异步推理速度达225Hz。
正文摘录
这个事儿在具身智能圈有个专门的名字，叫做 VA （Video-Action，视频-动作）模型。 视频地址： https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA 从视频中我们不难看出，桌上的冰球不仅速度快，轨迹还在不断变化，如果机器人只靠”看到哪打到哪”的反应式操作，大概率要被KO掉的。 正确的解法，应该是模型一边盯着球的运动轨迹，一边提前预判几步之后球会跑到哪，然后提前调整身位、伸拍。 这就是 蚂蚁灵波 刚刚发布的 LingBot-VA 2.0，全球第一个 具身原生的 预训练VA基座模型。 和前几天蚂蚁灵波三连弹开源+发布一样，LingBot-VA 2.0一经发布，同样引发了不小的热议，网友们纷纷表示： 天生“预言家”的机器人 看完上面这段冰球对战之后，有小伙伴可能会好奇了：LingBot-VA 2.0的这种预判能力，扛不扛得住更复杂的真实任务？ 研究团队在真实机器人身上还做了几组不同维度的测试，可以看出VA模型会先在脑子里做预判，把动作建立在对物理动态的预测之上。 面对一张东西摆得乱七八糟的桌子，机器人要先看懂桌上有哪些物体，哪些应该被移动，移动到哪里。 视频地址： https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA 这项任务背后考验的，是模型对长时间跨度任务的状态维持能力；若是记性不好的话，机器人很可能收拾到一半就忘了自己刚刚收拾到了哪一步。 LingBot-VA 2.0的高维planner面对任务会首先做一个任务拆解，比如左臂负责收拾垃圾归位，右臂把笔和鼠标等文具复位，双臂并行推进还要避免空间冲突。 视频预测分支天然携带时序状态记忆，每一步操作后的桌面新状态都在模型预测范围内，不会出现“断片”返工。