清华、NVIDIA 等联合推出 StreamEval：首个流式交互视频评测基准，38 个模型参测
现有基准只测单次生成的画面质量，测不出连续指令响应这个真正的难点；StreamEval 把这部分变成可量化评分，结果显示各家模型在指令跟随上的得分普遍很低。
清华大学、NVIDIA、CMU、UC Berkeley 等机构联合发布 StreamEval——一个针对实时交互视频生成的新评测基准。它把语音、文字指令和参考图按时间轴分批释放，考察模型在持续生成中响应新指令的能力，覆盖数字人对话、虚拟人表演、世界生成和指令编辑五类任务，共 300 个用例、38 个模型参测。
正文摘录
.jpg) 编辑｜杨文 AI 实时交互视频，是今年最热的技术方向之一。 过去大半年，相关模型密集破圈。阿里推出 HappyOyster，昆仑万维发布 Matrix-Game 4.0、爱诗科技发布 PixVerse R2，生数科技 7 月推出 Vidu S1，9 月紧接着发布 Vidu S2…… 资本同样在跑步入场，多家公司完成新一轮融资，世界模型、数字人、实时编辑…… 各路人马从不同方向涌入。 但火热背后，这个赛道正处于一种混乱状态。 混乱首先来自定义。同样做实时交互视频，有人叫它「交互世界模型」，有人叫「实时交互多模态模型」，有人把它理解为独立于视频生成和世界模型之外的第三条路线。连赛道叫什么都没有共识，评测标准自然更谈不上。 现有评测工具还在沿用老框架：给模型一段提示词，生成一段视频，看画面清不清晰、动作合不合理、风格符不符合描述。VBench、EvalCrafter 等主流基准都是这个逻辑，但对实时交互视频系统来说，这套方法测的根本不是最难的那部分。 实时交互视频的核心挑战在于：用户的指令是连续的，模型需要在不中断生成的前提下及时响应新指令，同时保持人物身份、已有场景和此前所有有效修改不变。而这些，现有评测工具几乎没有触及。 最近，清华大学、NVIDIA、CMU、UC Berkeley、Princeton、NUS 等海内外高校机构联合发起了一个新的评测基准 —— StreamEval。