新基准 MME-CoF-Pro 揭示视频生成模型推理与画质几乎解耦
新基准首次过程级评估视频模型推理一致性,证明高画质不等于会推理,推理引导可提升表现。
视频生成模型能画出逼真画面,但未必真在推理。MME-CoF-Pro 用 303 道题、16 类推理任务测了 7 个主流模型,最强 Veo 也仅 56 分,而 Kling 画质不错、推理分却只有 13.8。研究还发现,加入文字或视觉提示能显著提升推理表现,且各模型对提示的敏感度不同。
正文摘录
.955.jpg)  视频生成模型(Video Generative Models)是近年最炙手可热的方向。从 Sora、Veo 到 Kling、Seedance,它们能生成以假乱真的画面,对时间动态与物理规律的模拟令人惊叹。越来越多证据表明,它们已在大规模视频数据中隐式学到了某种「世界模型」(World Model)。 但一个关键问题被长期忽视:当模型生成一段看似「合理」的视频时,它真的在一帧帧地连贯推理吗?还是只画出了一个看似正确的结果? 我们把这一维度正式定义为 推理一致性(Reasoning Coherence):生成视频中的事件,能否在帧与帧之间保持因果一致、可信的演化。