BeingBeyond发布隐式触觉世界动作模型Being-H0.8
Being-H0.8首次将触觉引入世界模型，通过隐空间预测交互后果并实时纠偏，让机器人具备精细操作能力。
BeingBeyond推出首个基于人类视频数据的隐式触觉世界动作模型Being-H0.8，将触觉纳入“预测—执行—反馈”链路。模型先预判接触，再根据实时触觉调整动作，完成包中取物、毛笔写字等精细任务。
正文摘录
世界模型有触觉了！50 万小时视频训出首个隐式触觉世界动作模型 刚刚，BeingBeyond 智在无界 发布首个基于人类视频数据的隐式触觉世界动作模型—— 作为一套带有触觉的隐式世界—动作模型，Being-H0.8 在预训练阶段就教会机器人提前判断将要怎样接触物体，并在真正接触后，根据触觉反馈及时调整动作。 相比于过去根据画面决定做什么动作的世界模型，Being-H0.8 这次把触觉放进了“预测—执行—反馈”的完整链路： 模型先根据当前画面，预判接下来可能发生的接触，执行过程中再读取最新触觉，重新生成下一小段动作。 基于这套方法，Being-H0.8 在真实双臂机器人实验中，完成了包中取物、毛笔写字、挤牙膏、夹薯片等依赖触觉的高难度精巧任务。 要说 Being-H0.8 这次最值得关注的亮点，当属创新的 隐式触觉世界动作模型 架构和 超 50 万小时 的超大数据集了，咱们先来看模型层面。 隐式触觉世界动作模型 对于具身模型而言，触觉不仅关系到精细操作，还能帮助它完成仅凭视觉难以实现的接触推断。 因此，过去两年，围绕触觉如何赋能具身基础模型，学界已经涌现出不少探索，李飞飞、徐丹飞、Wenzhen Yuan、宋舒然等研究者也都在推进相关方向。 但如果我们把问题进一步聚焦到世界模型，就会发现：触觉究竟该如何进入世界模型，仍然是一个开放问题。 一方面，现有的世界模型大多以视觉为核心。它们可以看到物体如何移动、形变，却很难准确判断接触是否发生、接触发生在哪里，以及物体正在承受怎样的作用力。 另一方面，触觉传感器虽种类繁多，但数据形态和表征方式并不统一。更现实的问题是，绝大多数大规模人类视频和机器人数据集，本身就没有同步记录触觉信息。 这就意味着，想要训练一个具备触觉能力的世界模型，不仅缺少统一的触觉表征，也缺少能够规模化获取的训练数据。