英伟达与李飞飞团队发布SimFoundry，实现真实视频到仿真环境自动生成
SimFoundry用一段真实视频自动生成大量可训练的仿真场景，让机器人策略实现零样本真实部署，成本大降。
机器人训练依赖真实数据，昂贵且难规模化。SimFoundry只需一段真实视频，自动重建为可交互仿真场景，并智能更换物体、布局和任务，生成海量训练数据。在仿真中训练的策略能零样本迁移到真实机器人，成功率接近满分，大幅降低实机测试成本。
正文摘录
最近，英伟达 GEAR 联合 李飞飞 团队、 佐治亚理工大学 等机构联合发布全新 Real2Sim 系统 —— SimFoundry 只需一段真实世界视频，就能自动生成一个可以交互、训练、评测的机器人仿真环境。 SimFoundry 还能在保持物体功能和 Affordance（可供性）不变的前提下，自动更换物体、调整场景布局，甚至生成新的操作任务。也就是说，一段真实视频，不再只能得到一个仿真场景，而是能够自动扩展出 几乎无限的数据生成空间 。 由此，SimFoundry 不仅可以在仿真里训练机器人，还能较为可靠地预测不同机器人策略在现实中的真实表现。 更进一步，在 SimFoundry 生成的数据上训练出的策略，还能够 零样本部署到真实机器人 ，在多步操作、双臂协作、带关节物体操作等多个任务上完成真实世界迁移。 SimFoundry 的核心贡献，在于打通了 场景生成、数据生成、策略评测和策略训练 的整个 Real-to-Sim 闭环。 一直以来，机器人策略的训练一直高度依赖真实世界数据，而真实机器人采集数据不仅昂贵、耗时，还很难规模化。 正因如此，研究人员开始将 仿真（Simulation） 作为训练和评估机器人策略的一种可扩展替代方案。 借助自动化数据生成技术，可以以极低的人力成本合成大量多样、高质量的训练数据，不断提升机器人在真实世界中的泛化能力。 与此同时，越来越多研究也发现，只要仿真环境足够逼真，其评测结果与真实世界的机器人表现往往具有很强的一致性。 虽然仿真能够提供近乎无限的数据，但搭建一个具备真实几何、物理属性和交互能力的仿真环境，本身仍然需要大量人工建模。 简单来说，Real-to-Sim 希望利用 3D 重建和生成模型，将真实世界快速转换成支持物理交互的仿真就绪（Sim-ready）环境，从而大幅降低人工搭建仿真场景的成本。