斯坦福 HomeBody 项目:GPT-6 Astra 调用技能库操控宇树 G1 完成厨房任务
斯坦福 HomeBody 让 GPT 把导航、抓取、开抽屉等技能当工具调用,机器人无需额外训练就能在新厨房里干活,是「大模型控机器人」路线的一次路线级更新。
斯坦福团队的新项目 HomeBody 让宇树 G1 先自行探索一个陌生的厨房,之后就能按语言指令收拾物品、扔纸盒;即使药不在视野内,它也能从先前保存的画面里找到位置,走过去开抽屉取出再递给人。部署到新厨房无需额外采集数据或训练专用动作策略。
正文摘录
在斯坦福团队的最新项目 HomeBody 中,宇树 G1 先探索一个从来没见过的厨房,随后就能根据语言指令,收拾物品、丢掉纸盒,甚至把不在眼前的药找出来,递到人手里。 即使药不在当前视野里,它也能从之前保存的画面中找到线索,走到对应抽屉前,打开抽屉、取出药,再递给人,期间还能把丢纸盒的任务一并完成。 可以说,从 Robocurve 此前让 GPT 和 Claude 控制机械臂,完成桌面抓放测试,到这次 G1 走进厨房,大模型控制机器人的任务范围,又往外扩了一圈。 这一次,机器人不只要判断眼前抓什么,还得记住东西在哪,再把走路、抓取、放置连成一串。 更值得注意的是,团队表示,部署到这个新厨房时,系统不需要额外采集训练数据,也无须再训练一套专用动作策略,泛化性是相当可以了。 简单来说,HomeBody 的核心思路可以概括为一句话:让 GPT 把机器人技能当工具调用。 Astra 负责理解目标、安排步骤,再调用导航、抓取、开抽屉等技能,把任务一步步做完。 在 HomeBody 中,机器人接到的第一条指令很简单,「你是一台厨房机器人,请探索这个空间」。 随后,Astra 会选择值得观察的位置,引导 G1 移动。机器人一边走,一边记录相机画面、激光雷达扫描,以及自身的关节姿态和途经位置。 相机负责看清房间里有什么,激光雷达等传感器提供实测的空间结构;SLAM,也就是同步定位与建