视频生成模型：后训练与对齐综述

TL;DR 首个系统梳理视频生成模型后训练与对齐的综述，将监督微调、自训练/蒸馏、偏好/奖励、推理时方法统一到隐式/显式对齐框架，并盘点数据集、基准与开放挑战。

问题

问题背景：视频生成模型经大规模预训练后已具备强生成先验，但实际部署要求可靠遵循人类意图、维持时间一致性、满足物理安全约束，单纯扩大预训练难以闭环。

现有方法局限：

• 监督微调依赖高质量视频-文本对，而时间属性（运动因果、长程一致性）标注稀缺，且易发生灾难性遗忘。
• 偏好优化需奖励模型，但视频奖励易出现 reward hacking，多维度质量（文本对齐、时间一致性、美学）难以折中。
• 推理时引导可改善局部采样，但无法修正跨帧误差累积，且引入额外计算开销。
• 自训练与蒸馏存在生成-评价偏差放大风险，学生模型可能继承教师模型的系统性错误。

为什么难/重要：视频是高维时空结构，对齐信号需覆盖数十至数百帧，误差沿时间轴不断累积；运动-外观耦合使独立优化某一维度容易顾此失彼；奖励信号稀疏且标注成本高，难以建立密集的帧级反馈；安全约束（物理规律、伦理边界）转化为可微目标存在根本困难。业界对可控生成、仿真数据合成、视频编辑等场景需求强烈，后训练与对齐成为在算力受限下提升模型可用性的关键路径。

行业类比：类似 LLM 从 SFT 走向 RLHF 的演进，视频生成需要从“能生成”走向“生成得对”，例如具身智能数据合成中，动作与物理一致性是仿真数据可用的前提。

核心洞察

• **统一后训练框架揭示视频对齐方法的内在逻辑**：本论文将后训练视为统一框架，区分隐式对齐与显式对齐，并按监督信号的组织方式分为监督微调、自训练与蒸馏、偏好与奖励、推理时方法四类。相比已有综述多聚焦预训练或单一微调策略，该分类从对齐信号来源与施加阶段切入，为工程实践提供了清晰的选型地图和组合思路。
• **视频特有对齐挑战需要专门化策略**：论文强调视频生成的误差随时间累积、运动与外观耦合等问题，使图像对齐方法直接迁移效果有限。为此，论文系统梳理了时间一致性奖励、推理时时间建模、物理感知奖励等专门方法，帮助从业者规避简单套用图像对齐的陷阱，并指出可扩展奖励设计等开放问题。

方法

输入

以大规模预训练视频生成模型（如 Diffusion Transformer 或自回归 Transformer）为基底，接受文本、图像、音频等多模态条件信号作为对齐目标。这些模型具备较强生成先验，但在意图遵循、时间一致性、物理约束等方面存在不足。

关键模块

后训练与对齐统一为四类方法，按信号注入方式区分：

1. 监督微调 (Supervised Fine-tuning)：利用指令-视频配对数据、领域专用标注或多条件控制信号，通过参数高效微调（如 LoRA）增强指令跟随、领域适配和可控性。例如，直接指令到视频监督、运动/相机控制、身份保持个性化等。
2. 自训练与知识蒸馏：利用模型自身生成或教师模型输出构造监督，包括推理时测试时训练、离线自生成伪标签，以及将扩散模型蒸馏为自回归模型以提升推理效率。
3. 偏好与奖励优化：基于人类偏好或 AI 反馈，采用 PPO、DPO、GRPO 等优化范式对齐视频质量维度；同时构建多维奖励模型（如时间一致性、美学、物理合理性）以减少奖励黑客现象。
4. 推理时方法：无需更新参数，通过引导信号（如分类器引导、能量引导）或轨迹优化调整生成过程，增强时间一致性与约束满足。

输出

输出对齐后的视频生成模型，能够在训练和部署阶段更可靠地遵循人类意图，保持长时间序列的时空连贯性，并兼顾效率、稳定性和安全性。

与仅关注预训练或单一微调技术的综述不同，本工作将后训练视为统一的对齐框架，明确区分隐式对齐与显式对齐，覆盖从训练到推理的全流程方法。

差异点：相较于已有视频生成综述，本文首次系统梳理后训练与对齐，强调时间维度上的误差累积和多目标权衡，为构建可控、可靠的视频生成提供了结构化方法论。

实验

实验设计概述

本文为综述，未提出新模型或进行独立实验，因此没有专属数据集与指标。作者系统梳理了视频生成后训练与对齐领域的现有工作，覆盖监督微调、自训练与蒸馏、偏好与奖励方法、推理时方法等类别。实验设计部分主要归纳各子领域的常用评估协议：多数工作采用 文本-视频对齐 指标（如 CLIP Score）、时序一致性 指标（如 Frame Consistency）、人类偏好 评估（如 ELO 或成对比较），并在 MSR-VTT、UCF-101、Kinetics-400、WebVid 等公开基准上验证。

关键发现

1. 预训练视频模型虽具备强生成先验，但对齐后训练能显著改善指令跟随与时间稳定性，尤其在长视频生成中减少误差累积。
2. 偏好优化方法（DPO/GRPO）相比传统 RLHF 更稳定，且计算开销更低，适合视频生成的大规模微调。
3. 推理时方法（如引导与采样调整）无需训练即可改善可控性，但可能导致生成多样性下降。
4. 奖励模型设计仍存在 reward hacking 风险，单一标量奖励难以平衡视觉质量、运动合理性与安全性。

与基线对比解读

由于是综述，本文未提供定量对比；但从归纳的工作看，后训练方法普遍在 指令跟随准确率 上优于仅预训练模型，例如使用 Direct Preference Optimization 的方法在人类评估中超过 RLHF 基线（提升幅度因论文而异）。推理时引导方法在控制精度上接近训练式方法，但生成速度与多样性受损。实际工程中，建议优先采用轻量级偏好优化（如 DPO 变体）与推理时引导结合，以平衡效果与成本。

行业影响

落地场景

视频生成的后训练对齐直接面向可控视频生成与垂直领域适配。具体场景包括:

• 电商与广告: 自动生成商品演示视频,通过偏好对齐抑制运动伪影、保持商品外观一致性。
• 内容平台与 UGC 工具: 短视频辅助创作,对齐用户对镜头语言、叙事节奏的偏好。
• 教育与培训: 生成物理正确的过程演示,如实验操作或机械原理动画。
• 游戏与影视预演: 用 reward model 约束角色动作与场景物理,生成可用的 storyboard 片段。

其中,电商商品视频与教育动画是当前最直接的落地用例。

商业价值

• 降本: 基于预训练模型做后训练,避免从头训练的高昂算力;采用 LoRA 等参数高效微调可将垂直适配成本降低一个数量级。
• 增收: 对齐后的模型能输出更符合品牌调性和用户偏好的视频,提升广告点击率与内容留存;自动生成素材缩短 campaign 上线周期。
• 体验提升: 通过物理/安全 reward 减少穿模、违反物理规则等缺陷,降低审核与后期修复成本,增强用户信任。

与现有产品/工作流的接口

• 模型层: 在现有 Diffusion Transformer 视频基座上,叠加 LoRA adapters 或接入 reward model,无需改动主干网络。
• 推理层: 使用 inference-time guidance / test-time training 在部署时动态注入对齐信号,与现有 serving 框架兼容。
• 数据/训练层: 沉淀 preference dataset 与 reward model 作为持续对齐 pipeline,集成进 MLOps(如 MLflow / W&B)。
• 工具链: 可通过 ComfyUI 自定义节点或 Diffusers pipeline 封装对齐后的模型,快速嵌入内容生产系统。

核心价值: 后训练对齐让通用视频模型变成“可控、可靠、安全”的垂直能力,是工程落地必经一环。

局限

• 本综述主要基于已发表工作做定性梳理，未提供跨方法的量化对比或统一实验基准，导致不同后训练与对齐策略之间的相对增益难以直接比较；同时，视频生成领域迭代极快，部分最新工作可能未被覆盖，综述的时效性有限。
• 四类方法划分（SFT、自训练/蒸馏、偏好/奖励、推理时）存在交叉重叠，例如某些推理时方法也依赖奖励模型，部分自训练与蒸馏目标也可归入偏好优化，这种分类在实际工程选型时不够互斥，降低了分类的实用指导性。
• 对安全对齐和可扩展奖励设计等开放挑战的讨论偏原则性，缺少对具体失败模式、奖励 hacking 案例以及长时程一致性评测方案的深入拆解，工程落地时仍需额外调研与验证。