清华团队提出样本分布训练,一步生图与流式视频生成取得突破
少步生成是实时多模态交互的前提;这篇讲清华如何用「分布对分布」的监督替代逐样本对答案,并在 8 卡上跑通 14B 流式视频后训练。
清华等机构研究者提出「样本分布训练」——一种不要求每个生成结果对应唯一参考答案、而是比较生成样本与参考样本整体分布的训练方法,并据此推出 MGFlow 与 Elastic Forcing 两项工作:前者让一步文生图达到 SOTA,后者用 8 张 H200、23.2 小时完成 14B 视频模型的流式实时生成改造。
正文摘录
.jpg)  对着屏幕说一句 “向左转”,画面随即展开新的视野;调整角色的动作,场景紧接着给出反馈。多模态交互要求视觉生成跟上人的操作,而漫长的等待会打断整个体验。 这让 few-step generation,少步生成,成为交互系统的关键能力。将生成压缩到一步或少数几步,为持续响应腾出时间与算力,同时保持高质量,是生成模型走向实时多模态交互、进一步连接世界模型的重要问题。 一步生图达到 SOTA 水平,8 卡搞定 140 亿参数流式视频模型后训练。 清华大学等机构研究者的 MGFlow 与 Elastic Forcing,交出了两份相互呼应的成绩单。 MGFlow 在 ImageNet 256×256 生成中,后训练 pMF-H、JiT-H 取得单步生成 1.45、1.64 FDr⁶ 的断崖式 SOTA 好成绩;在 FLUX.2 [klein] 4B 文生图对照中,一步生成的 GenEval 达到 0.900,PickScore 达到 21.98 ,超越原版 4 步模型,领先所有同规模 baseline。