热门产品

MolmoAct 2

MolmoAct 2

MolmoAct 2 是开源机器人动作推理模型,能在 3D 空间规划后执行双臂任务,无需微调。

热门评论

PH 用户
700小时的双臂机器人演示数据,全部开放,这正是机器人领域一直缺失的训练资源。

它是什么:MolmoAct 2 是 Ai2 推出的开放行动推理模型,能在3D空间中推理后再指挥物理机器人动作,部分训练数据来自 MolmoAct 2-Bimanual YAM 数据集,这是迄今为止发布的最大规模开源双臂机器人数据集。

大多数机器人基础模型都使用专有数据训练,实验室外的人无法查看或在此基础上构建。这使得复现结果几乎不可能,也限制了能真正参与该领域的人。

Ai2 以不同方式构建了 MolmoAct 2,从数据开始。MolmoAct 2-Bimanual YAM 数据集包含700小时的双臂操作演示,包括叠毛巾、扫描杂货、清理桌面、给手机充电等。它包含的训练机器人数据量是原始 MolmoAct 的30倍以上。

不同之处:双臂能力直接内置于基础模型中,而非通过逐任务微调添加。语言标注被重新标注,将独特指令标签从71,000个增加到约146,000个,使模型对现实世界中的措辞变化更加鲁棒。

数据集还补充了更广泛的混合数据,涵盖不同的机械臂、摄像头设置和控制方案,使模型能泛化到训练硬件之外。

关键特性:700小时的 MolmoAct 2-Bimanual YAM 数据集,完全开放;原生双臂操作,无需逐任务微调;重新标注的语言指令,增强措辞鲁棒性;MolmoAct 2-Think 变体,带有自适应深度感知 token;发布的参考硬件设置:YAM 机械臂、俯视和近景摄像头、桌面工作区。

优势:研究人员可以直接研究、复现并基于训练数据构建;数据集涵盖多种机械臂、摄像头和控制方案,实现更广泛的泛化;开放 action tokenizer 与模型权重一同发布;训练代码即将以开源许可证发布。

适用人群:需要开放训练数据和可复现方案来构建或改进操作模型的机器人研究人员和机器学习工程师。

机器人AI中的数据问题与模型问题同样重要。同时发布两者,正是这次发布值得关注的原因。
PH 用户
我想知道这个数据集如何处理现实世界物体交互的变异性——它是否包含失败案例,还是只有成功演示?这对鲁棒的策略学习可能意义重大。
PH 用户
对工业机器人的通用训练非常有用。通常处理机械臂操作和逆运动学是个大麻烦。我一定会探索这个模型用于机器人训练。
热门产品Himani Sah2026-05-09原文

相关内容