可可矩阵发布机器人模型 CO01:用示范与纠错作为上下文提示
机器人模型把示范、失败和人的纠正直接当作上下文输入,不用重新训练就能上手新任务,把部署成本压下来。
可可矩阵(COCO Matrix)发布机器人模型 CO01,把人的一次示范、机器人自己的失败尝试、一句口头纠正甚至一张目标图片都当作「经验提示」放进模型上下文,无需为当前任务重新训练。同一预训练模型下,一段约 1 分钟的示范即可让未见任务平均成功率达到 52%,而微调达到相近水平需约 180 条示范、约 9 小时。
正文摘录
.jpg) 人通过观摩、尝试和指点学习,机器人也能如此。可可矩阵(COCO Matrix)发布机器人模型 CO01(读作/kuːl/),让机器人也能从这些经验中学习。 一次示范、一段失败经历、一句提醒,甚至一张目标图片,都能帮助 CO01 决定下一步。团队将这种方式称为「经验提示」:经验可直接放入模型上下文,无需为当前任务重新训练。 这让新任务更少依赖专门的示范采集和微调,降低适配与部署成本。用户也能通过示范和指点教机器人做事。失败、重试和人的纠正,既能供机器人当下参考,也能经整理后用于后续训练,让使用中积累的经验持续帮助模型改进。 希望 CO01,成为一个 非常 COOL 的机器人模型!真正实现可可矩阵的愿景:Robots for all,shaped by all! 本文看点: - 新任务上手更快:同一预训练模型下,一段示范、约 1 分钟,未见任务平均成功率达到 52%;微调达到相近水平需约 180 条示范、约 9 小时。 - 失败经验带来可量化提升:在相同的五次尝试机会下,保留自身历史的真机累计成功率为 84%,不保留历史为 56%。 - 扎实的技术支撑:会话式训练保留示范、失败与纠正之间的联系,让动作模型无需更新权重,就能利用经验调整行为。部署中积累的交互记录还能经整理后用于后续训练,让真实使用持续推动数据飞轮。 - 统一感知能力:同一套权重支持深度、分割、光流、人体姿态等多类感知任务,在 8 项基准中有 5 项优于专用模型,深度估计基本持平,为机器人读懂示范中的空间关系与动作变化提供感知基础。