DanceOPD: On-Policy Generative Field Distillation

TL;DR DanceOPD 提出 on-policy 速度场蒸馏，将冲突的 T2I/编辑能力统一为多个专家速度场，让 flow-matching 模型在自身 rollout 上学习组合，显著增强多任务能力。

问题

问题背景

当前图像生成模型（如基于 flow matching 的模型）在实际部署中，需要同时支持 文本到图像生成 (T2I)、局部编辑 和 全局编辑 等多种能力。然而这些能力并非天然兼容，当模型试图统一时，会产生严重的能力冲突和性能退化。

现有方法的局限

传统方案要么将不同能力分开训练独立模型，推理时切换，带来巨大存储和运维开销；要么采用简单的多任务学习，但对不同能力使用相同的参数更新方向，忽略了速度场在流空间中的结构差异。具体来说，编辑任务引入的梯度会干扰 T2I 的生成分布，导致基础生成质量下降；局部编辑和全局编辑对潜在变量的修改尺度与范围不同，共享训练时会相互抵消，使编辑效果变弱或不精确。此外，现有知识蒸馏方法通常是离策略 (off-policy) 的，学生模型依赖教师模型推理时的状态查询，无法充分利用学生自身 rollout 的分布，造成蒸馏效果受限。

为什么这个问题既困难又重要

核心挑战在于能力组合本质是一个 多目标优化问题，不同能力对应的速度场在流空间的同一状态上可能指向差异极大的方向，强行平均会导致 none-of-the-best。同时，T2I 作为锚定能力，其退化在实际产品中不可接受，所以必须在 保护锚定质量 的前提下融入编辑能力，而不能简单牺牲一端。业界正快速走向“一模型多能力”的部署范式，以降低服务成本、提升响应速度，因此解决能力冲突是提升生成模型实用性的关键瓶颈。

行业类比

这类似于在 自动驾驶感知系统 中要求单一 backbone 同时处理检测、分割和深度估计：不同任务对特征的偏好不同，直接联合训练易导致任务间拉扯，需要精细的梯度路由或蒸馏策略来平衡能力。

核心洞察

• 将多能力组合重新定义为多个教师速度场的 on-policy 蒸馏，而不是传统的多任务微调或数据混合。DanceOPD 让学生模型在自己的生成轨迹上查询对应能力场，消除了教师与学生状态分布不匹配的问题，从而缓解了编辑任务与基础生成任务之间的冲突，这与之前直接合并数据集或分阶段微调的方式有根本区别，因为后者往往导致能力退化或相互干扰。
• 将 classifier-free guidance 等后处理算子统一建模为可蒸馏的速度场，并融入同一框架。以往方法通常将 CFG 视为推理时的额外操作，而 DanceOPD 将其作为一种能力源进行场蒸馏，使学生模型能够原生吸收 guidance 效果，避免额外计算开销，同时保持生成质量，这为模型压缩和部署提供了新范式。

方法

输入与能力分解

DanceOPD 的输入包括文本描述、编辑区域掩码与编辑类型（局部/全局）等条件，框架将 T2I、局部编辑、全局编辑 等能力视为各自独立的 velocity field（速度场），这些场定义在共享的流形状态空间上，由预训练专家模型提供。每个训练样本根据其所属能力类型被硬路由到对应的专家速度场。

核心模块

1. Hard-Routed Sample-Wise Field Matching
   每个样本仅匹配一个能力场，避免多场混合带来的冲突。基于样本的能力标签（如 T2I 或编辑），采样策略将当前批次样本分配到对应专家场，简单高效地实现多能力组合训练。

2. On-Policy Field Querying
   学生模型自身生成流形轨迹上的噪声状态（rollout），然后在这些学生诱导状态上查询教师速度场，而非使用教师模型生成的离线样本。这使蒸馏分布与学生推理分布对齐，缓解 covariate shift，增强组合后的生成稳定性。轨迹生成时采用 stop-gradient，防止梯度回传引入有偏估计。

3. Semantic-Side Single Query
   区别于传统从噪声侧多次采样的方案，该模块从语义侧（如文本嵌入侧）抽取单一的低噪声状态进行速度查询，降低计算开销并提升训练效率。该状态由学生模型在低噪声水平下生成，保留足够语义信息以支持精准的速度匹配。

4. Velocity MSE Objective
   损失函数最小化学生预测速度与教师速度之间的均方误差。该目标等价于在特定条件下最小化蒸馏分布间的 KL 散度，同时可直接吸收 Classifier-Free Guidance (CFG) 等算子场——通过构造组合速度场，将 CFG 行为蒸馏进学生模型，使推理时无需额外引导步骤。

输出与训练

学生模型通过组合多个能力场的 on-policy 速度蒸馏，最终得到一个统一的 flow-matching 生成器，支持文本到图像生成、局部对象编辑与全局风格编辑，并在多能力间保持良好平衡。训练仅需单次前向查询和简单速度回归，工程实现简洁。

与同类方法的差异

不同于传统的多教师特征蒸馏或多任务联合微调（常在像素或隐空间直接对齐），DanceOPD 在 flow-matching 轨迹空间 上通过 on-policy 速度蒸馏组合能力，借助硬路由避免能力间干扰，并以 velocity MSE 吸收 CFG 等动态引导场，实现更稳定的多能力统一。

实验

实验设计

DanceOPD 在 flow‑matching 模型上验证多能力组合：文本生成图像（T2I）、局部编辑、全局编辑、realism 场吸收及 classifier‑free guidance (CFG) 吸收。将每个能力视为独立的 velocity field，生徒通过 on‑policy rollout 状态查询各场，经硬路由（hard‑routing）选择单一场进行 velocity MSE 训练。基线包括：单能力专精模型、多任务联合训练、off‑policy 蒸馏变体。评估指标覆盖生成质量（FID、CLIP score）与编辑质量（结构保持、编辑一致性等），CFG 吸收实验对比推理时 guidance 控制能力。

关键发现

• 能力解耦与组合：硬路由有效避免梯度冲突，T2I 质量保持的同时，编辑能力显著优于联合训练。
• 场吸收能力：吸收 realism 场后，图像真实感提升且不影响指令跟随；吸收 CFG 场使生徒内置 guidance 控制，无需推理时额外计算。
• on‑policy 必要性：消融显示，off‑policy 查询或软聚合会导致能力退化，on‑policy rollout 对蒸馏性能至关重要。

基线对比解读

与传统多任务联合训练相比，DanceOPD 通过路由分离能力场，彻底消除“编辑损坏 T2I”或“局部‑全局编辑互斥”的典型矛盾。相较基于概率密度蒸馏的方法（如 DiffusionDPO），该框架在 flow‑matching 范式下仅需速度场匹配，训练简单且稳定，为实际部署中快速推理、内置 guidance 的统一模型提供了高效训练范式。

行业影响

落地场景

DanceOPD 通过 on-policy 生成场蒸馏 将文本到图像(T2I)、局部编辑和全局编辑融合到单一 flow-matching 模型中，直接适用于需要一体化创作体验的产品。典型场景包括：

• 内容生产工具：设计师使用自然语言生成图像后，可立即对局部元素(如物体颜色、纹理)和全局风格(如光线、色调)进行精细控制，无需切换模型或工具。
• 电商与广告：上传商品白底图，一键生成多场景展示图，并支持局部修改产品细节或全局替换背景，大幅缩短素材制作周期。
• 虚拟试穿与家居设计：对服装、家具等图像进行局部编辑，同时保持整体视觉一致性。

商业价值

• 降本：替代多个单能力模型，减少模型存储、推理和维护成本；on-policy 蒸馏 降低高质量编辑数据的依赖。
• 增效：统一模型避免多模型串联带来的延迟与误差累积，提升生成速度，改善用户体验。
• 新业务入口：提供“生成 + 编辑”一体化 API，可嵌入企业现有创作流，形成差异化的产品能力。

与现有产品/工作流接口

框架基于 flow-matching，与当前主流的扩散模型管线兼容。可对现有 Stable Diffusion 类模型进行蒸馏集成，步骤为：

1. 将多个专业教师模型(如 T2I 专家、局部编辑专家)定义为 velocity field；
2. 用 hard-routed sample-wise field matching 训练学生模型，使其在自身 roll-out 状态上学习各个场的能力；
3. 训练采用简单的 velocity MSE 目标，无需复杂对抗或重构损失；
4. 学生模型可吸收 classifier-free guidance 场，直接部署为端到端推理模型。

推理时，只需一次调用即可根据指令切换或组合不同能力，无额外 condition 扩展。

具体落地 Use Case

电商平台商品图创作：卖家上传一张运动鞋照片，输入“在沙滩上，阳光明媚”生成场景图(T2I)，随后用画笔圈出鞋带区域，输入“变为荧光绿”完成局部编辑，最后输入“转为日落氛围”改变全局色调。所有操作在一个模型内完成，响应时间可控，无需后台切换多个服务。

社交媒体滤镜工具：用户拍摄一张人像，选择“卡通风格”全局编辑，再单独对眼睛或嘴唇进行局部调整，一个模型即可实现从生成到细节修饰的全流程，避免了传统多模型管线中风格不一致的问题。

局限

• **计算开销与在线策略采样效率**：方法要求每次训练步从学生模型当前状态采样，再查询教师场，即 on-policy rollout，这会显著增加训练耗时与显存占用，尤其实在大批量或高分辨率生成场景下。论文虽讨论了计算复杂度，但并未给出与离线式蒸馏的详细 wall-clock 时间对比，也未探索有效的近似采样策略来降低开销，实际部署时可能成为瓶颈。
• **能力冲突处理的隐式假设**：DanceOPD 通过硬路由将每个样本分配给单一能力场，从而避免多场在同一状态下的显式冲突，但这隐含假设不同能力可以独立优化而不相互干扰。当编辑能力要求某些状态被 T2I 场视为低概率时，路由机制可能掩盖潜在对抗，导致学生模型在极端样本上仍出现生成质量退化，论文缺乏对此类边缘情形的深入分析。
• **实验覆盖度与可扩展性验证**：论文主要评测 T2I、局部编辑、全局编辑和 CFG 吸收等场景，但未展示在更复杂的多能力组合（如同时进行局部和全局编辑）下的表现，也未讨论扩展到更多教师或更异构的能力场时的稳定性。此外，与多任务学习或 sequential finetuning 等传统融合方案的对比有限，难以判断在性能收益边际递减时的实际优势。