李飞飞学生发起EgoVerse标准,光轮智能加入
EgoVerse试图为具身智能建立类似ImageNet的公共数据标准,通过统一人类演示数据格式来加速机器人学习,光轮智能是唯一参与的中国公司。
EgoVerse是一套持续增长的、第一视角的人类操作数据生态与标准,由李飞飞博士生Danfei Xu发起,联合Meta、Scale AI、光轮智能等机构,旨在为机器人学习建立统一的数据采集、标注和验证基础设施,让不同实验室和机器人能在共享协议下训练和比较模型。
正文摘录
随后,以 ImageNet 为基础形成的大规模视觉识别任务,让不同机构第一次能够围绕共同的数据集、类别体系和评测指标训练模型、比较结果。 得益于这套可以持续扩展、统一比较的数据与评测基础设施,图像识别和深度学习开始快速发展。 17 年后,李飞飞的博士生 Danfei Xu,开始为机器人学习寻找类似的协作基础设施。 Danfei Xu 目前担任佐治亚理工学院交互计算学院助理教授,也是机器人学习与推理实验室(RL2)的负责人。他在斯坦福大学攻读博士期间,由李飞飞和 Silvio Savarese 共同指导。过去几年,他持续研究一个问题:机器人如何从人类演示中学习,并将这些经验迁移到不同任务、环境和机器人本体上。 EgoVerse 是一套持续增长的第一视角人类操作数据生态与标准。EgoVerse 最新公开的联盟伙伴中,除了佐治亚理工、斯坦福、苏黎世联邦理工和 UC San Diego 等学术机构,还包括 Meta、Scale AI、光轮智能、Mecka AI、MicroAGI、Trace Labs 等公司。 最值得关注的是,光轮智能作为唯一一家中国公司,出现在这个顶级大佬云集的全球标准牌桌上。 目前机器人训练仍然依赖真机遥操作,每增加一条演示,都需要机器人硬件、操作人员、实验场地和复位流程。采集速度慢、成本高,能够覆盖的任务和场景也很有限。 而人类的各种行为天然包含丰富的视觉信息、动作过程、物体交互和任务策略,明显是机器人更好的老师。 第一视角人类数据提供了新的路线:先记录人如何在真实环境中完成任务,再把这些经验迁移给不同机器人。 不同团队使用各自的采集设备、坐标体系、动作标签和任务定义,数据发布后也很难持续扩张。即使两家机构都采集了“把杯子放到碟子上”,两份数据也未必能够直接放在一起训练。