行业新闻

复旦与南洋理工提出 SimpleVLN:不改 MLLM 架构刷新视觉语言导航 SOTA

这篇值得看,是因为它证明多模态大模型的导航能力主要卡在决策组织和训练流程上,而不是缺专用模块。

复旦大学、南洋理工大学等团队提出 SimpleVLN,不改多模态大模型结构、不新增导航模块,靠三点改进提升视觉语言导航(VLN,让机器人按自然语言指令在真实空间中行走):每次决策只输入指令、当前画面和均匀采样的历史帧;一次推理输出一组连续动作;再用 DAgger 把模型自己的走偏轨迹纳入训练,最后用强化学习按任务成败调策略。在 Qwen3-VL 4B 上,R2R-CE 成功率从 65.4% 升到 73.8%。

正文摘录

![](https://image.jiqizhixin.com/uploads/article/coverimage/e06c8e87-a722-4b1f-913c-f1fb7c2e2562/075(2).jpg) ![图片](https://mmbiz.qpic.cn/szmmbizpng/5L8bhP5dIqElqZ0GcgINP4V78xIEARSSDI7pRpUQpZAhGK6rr8zoMJM3icYLohdHNhq93gll1YkHwsYaOO3tolCuL5QN5gAtJc46PnNgECQI/640?wxfmt=png&from=appmsgimgIndex=0) 设想这样一个场景:给机器人下达一句自然语言指令,让它穿过走廊、接连转弯,最终走进指定房间。视觉语言导航(VLN)需要让机器人结合沿途看到的画面,把人类的语言指令转化为一连串连续行动。 现有多数 VLN 方法会引入专门的空间推理模块、图结构建模或分层决策系统来增强导航能力,但多模态大模型本身自带的导航潜力究竟能不能被充分激活,还有待深入探索。复旦大学与新加坡南洋理工大学团队开辟了新的研究思路:能不能不改动多模态大模型的核心结构,也不新增专门的导航模块,仅靠巧妙的决策设计与训练流程,充分发挥模型原生能力,完成导航任务?

阅读原文(jiqizhixin.com)→

行业新闻机器之心2026-10-30原文

相关内容