南京大学团队提出世界模型评估新框架,聚焦具身决策能力
南京大学团队提出世界模型评估新标准:别光看视频多逼真,要看它能不能帮机器人做对决策。
南京大学团队发布立场论文,指出世界模型(能预测未来状态的AI系统)的评估不能只看视频多逼真、语义多贴合,重点应落在它对行动后果的预测能力、对策略优劣的判断能力,以及实际支持规划和优化的能力上。他们提出7级评估阶梯,从视觉合理性到闭环规划效用,强调评估证据必须能支撑模型声称的决策能力。
正文摘录
.jpg)  近期,围绕「世界模型」的讨论持续升温。机器人、自动驾驶、视频生成、具身智能等多个方向都在频繁使用这一概念,相关系统不断出现,演示形式日益丰富,评价指标也越来越多。伴随这一趋势,一个基础问题变得格外重要:当一个模型被称为「世界模型」时,人们究竟在评价什么? 南京大学人工智能学院团队近日发布的综述性立场论文,围绕这一问题给出系统回答。论文指出,面向具身智能和机器人决策的世界模型,评价重点应落在其对行动后果的预测能力、对策略优劣的判断能力,以及对规划和优化的实际支持能力上。视频是否逼真、画面是否流畅、语义是否贴合指令,这些维度依然重要,但它们更适合作为基础诊断和辅助评估的指标。