灵初EgoSteer开源：双灵巧手通用操作大模型及全栈系统
EgoSteer通过大规模人手视频训练和世界模型增强，实现双灵巧手对开放式指令的通用灵巧操作。
灵初智能与北大联合开源的EgoSteer全栈系统，包含数据管线EgoSmith和基于流匹配的VLA模型。它从近万小时人手视频中学习，能跟随自然语言指令完成一百多种精细操作，如折叠、抓取，且能在全新场景中泛化。其世界模型专家仅在训练时增强动作预测，推理时不增加计算负担。
正文摘录
.jpg) 编辑｜冷猫 记得何同学做过一个超复杂的流水线项目吗？  内容来源：老师好我叫何同学 这个视频发布于 2024 年 1 月，当时要实现自动叠纸盒，把礼物放进纸盒的自动化操作，正是这样一个机械臂和自动化编程组合成的流水线。 如果有一个能像人一样灵活的机器手来折叠包装，长时间批量地工作，何同学团队耗费心力打造的庞大流水线的功能，就能够被两个小体积的灵巧手给完美实现。 并且也不需要考虑各种流水线上的稳定性，灵巧手自己就能够解决遇到的位置偏移，变形等问题，全面自主。相比复杂的机械臂和自动化，灵巧手的自由度和泛用性显然是其不可比拟的。 这很难，但和人类双手接近的灵巧手，已经出现了。