SONIC模型用42M transformer控制人形机器人,支持多种指令,开源。
半个GPT-1能做什么?我们训练了一个42M参数的transformer,名为SONIC,用于控制人形机器人的身体。对我们人类来说,下蹲、转身、爬行、冲刺需要大量的潜意识处理。SONIC在一个模型中捕捉了这种“系统1”——快速、反应性的全身智能,将任何运动指令转化为稳定、自然的运动信号。而且它是完全开源的!
关键洞察:运动跟踪是全身控制唯一真正可扩展的任务。我们不是为每个新技能手工设计奖励,而是使用来自人类动作捕捉数据的密集、逐帧监督。数据本身编码了奖励函数:“在保持平衡的同时,以任何类似人类的姿势配置你的四肢”。
我们将人形运动RL扩展到前所未有的规模:超过1亿个动作捕捉帧和超过50万个并行机器人,分布在128个GPU上。NVIDIA Isaac Lab使我们能够以10,000倍的速度加速物理模拟,在仅几小时的墙钟时间内给机器人提供多年的虚拟经验。经过3天的训练,神经网络零样本迁移到真实的G1机器人,无需微调。在50种不同的真实世界运动序列中,成功率达100%。
一个SONIC策略支持以下所有功能:
- VR全身远程操作
- 人体视频。只需用网络摄像头实时捕捉动作。
- 文本提示。“侧身走”、“像猴子一样跳舞”、“踢左脚”等。
- 音乐音频。机器人随节拍跳舞,适应速度和节奏。
- VLA基础模型。我们集成了GR00T N1.5,在移动任务中达到了95%的成功率。
我们开源了代码和模型检查点!!详细内容在下方:
关键洞察:运动跟踪是全身控制唯一真正可扩展的任务。我们不是为每个新技能手工设计奖励,而是使用来自人类动作捕捉数据的密集、逐帧监督。数据本身编码了奖励函数:“在保持平衡的同时,以任何类似人类的姿势配置你的四肢”。
我们将人形运动RL扩展到前所未有的规模:超过1亿个动作捕捉帧和超过50万个并行机器人,分布在128个GPU上。NVIDIA Isaac Lab使我们能够以10,000倍的速度加速物理模拟,在仅几小时的墙钟时间内给机器人提供多年的虚拟经验。经过3天的训练,神经网络零样本迁移到真实的G1机器人,无需微调。在50种不同的真实世界运动序列中,成功率达100%。
一个SONIC策略支持以下所有功能:
- VR全身远程操作
- 人体视频。只需用网络摄像头实时捕捉动作。
- 文本提示。“侧身走”、“像猴子一样跳舞”、“踢左脚”等。
- 音乐音频。机器人随节拍跳舞,适应速度和节奏。
- VLA基础模型。我们集成了GR00T N1.5,在移动任务中达到了95%的成功率。
我们开源了代码和模型检查点!!详细内容在下方: