Mistral AI 发布单摄像头导航模型 Robostral Navigate
Mistral AI 发布专用导航模型，单摄像头即可实现复杂环境自主导航，刷新指令跟随基准。
Robostral Navigate 是一个8B参数的视觉语言模型，仅凭一个普通RGB摄像头就能让机器人在陌生环境中自主导航，在指令跟随基准R2R-CE上达到76.6%成功率，超越使用多传感器方案的系统。
正文摘录
认识 Robostral Navigate - 标题：认识 Robostral Navigate - 来源公司：Mistral AI - 正文： ← + − → 认识 Robostral Navigate 思考 摘要 Robostral Navigate 是一个 8B 参数模型，让机器人仅凭单个 RGB 摄像头就能自主导航复杂环境，在未见过的 R2R-CE 基准上达到 76.6% 的成功率——超越了多传感器方案，同时更高效。模型完全内部自研，使用仿真训练数据和令牌高效技术，可在不同机器人类型间泛化，并能适应训练中未见过的现实障碍。该模型结合基于指向的导航和强化学习实现持续改进，为机器人领域的统一具身 AI 铺平道路。 今天我们发布 Robostral Navigate，这是我们的第一个专为具身导航设计的模型。它是一个 8B 参数模型，接收 RGB 图像和自然语言指令，驱动机器人在环境中移动： “离开大厅，穿过走廊，进入储物间，然后停在第二个架子前面。” 要完成此类任务，其他模型通常会用深度传感器、激光雷达或多摄像头协同工作。Robostral Navigate 仅用一台普通 RGB 摄像头，没有深度传感器，却仍在 R2R-CE（连续环境中的房间到房间导航）验证未见过的场景上达到 76.6% 的成功率——这个基准用于测试跟随指令穿越未训练过的环境。因此，它比最好的单摄像头方案高出 9.7 个百分点，比使用深度或多摄像头的最好系统高出 4.5 个百分点，尽管它两者都没有使用。 导航 我们的模型专为机器人导航设计，使机器人能够自主导航复杂环境，包括办公室、住宅楼、商业建筑以及室外场景。 Robostral Navigate 在一个繁忙办公室内、一条长程指令路线上完全自主运行。 这项技术解锁了制造、配送、物流和酒店服务等多个领域的应用，目前也是客户需求最旺盛的能力之一。