Poly-OPD: 异构多教师 On-Policy 蒸馏用于能力可选择的流模型

TL;DR Poly-OPD 通过像素桥与能力选择适配器，将异构流匹配教师的互补优势蒸馏至单一可切换学生，性能反超更大教师模型。

问题

问题背景

开源文生图模型逐渐分化为美学质量型和组合指令型两类专家，前者在人类偏好对齐上表现优异，后者在计数、属性绑定等任务上更可靠。业界急需将多模型的互补优势整合到一个紧凑且可切换的模型中。

现有方法局限

• 同质化蒸馏假设不成立：主流的扩散蒸馏通常要求教师与学生共享相同的VAE和噪声调度，但异构教师（如FLUX.1-dev与SD3.5）的潜在空间、噪声特性差异巨大，直接对潜在特征施加损失会导致严重不对齐。
• 模型合并易引发干扰：简单的权重插值或LoRA融合无法解决架构不匹配问题，且容易丢失各自能力，甚至产生质量回退。
• 缺乏有效的多教师协调机制：当多个教师提供冲突的监督信号时，学生难以平衡不同能力，常出现“灾难性遗忘”或偏向单一风格。

技术挑战与重要性

1. 潜在空间桥接：需要在像素级或感知空间（如DINOv2）建立跨模型的监督，绕开VAE差异，这要求设计高保真且高效的在线蒸馏机制。
2. 能力解耦与选择：为让单一学生具备可切换的能力，必须精细化组织适配器，防止前向/反向传播中的能力串扰——梯度兼容性诊断正是为此而生。
3. 训练效率与时机：多教师蒸馏计算代价高，需通过gap-aware自适应采样将训练资源聚焦于学生当前最差的方向，逐步缩小能力差距。

该问题的解决有望推动“全能型”轻量化生成模型的落地，便于终端根据场景动态切换美学/组合模式。

行业类比

这类似于打造一个可切换技能助手：一个模型在推理时既能像设计师一样产出高美感图像，又能像排版员一样严格遵循复杂指令，内部通过可插拔适配器实现角色转换。

核心洞察

• “像素桥接”与冻结特征空间蒸馏：通过将学生生成的图像重新编码到各教师的异构潜在空间，并在冻结的 DINOv2 特征空间计算目标差异，Poly-OPD 首次让流匹配学生无需对齐自编码器或噪声调度即可继承完全异构的教师能力。这种方式跳过了传统潜在空间对齐带来的信息损失，真正实现了跨架构的能力迁移，为模型融合提供了全新的范式。
• “梯度兼容性”驱动的可切换适配器设计：利用梯度兼容性诊断将注意力 LoRA 设为共享、前馈适配器设为教师特定，从而在单一紧凑学生模型中保留了多个教师的互补优势，并允许按需切换“偏好美学”或“组合指令跟随”模式。这种参数高效的组织方式避免了多教师微调中常见的任务干扰，为轻量化多能力部署提供了可实践的工程路径。

方法

输入

多个异构的文本到图像教师模型，各自具备互补的优势：例如 FLUX.1-dev 偏好对齐的美学质量，Z-Image 擅长组合式指令遵循。由于各教师的自动编码器（autoencoder）和噪声调度（noise schedule）不同，直接迁移能力存在潜在空间不兼容问题。

关键模块

1. 像素桥接的在线策略蒸馏 (On-Policy Distillation via Pixel Bridge)

   • 先用一个教师对学生进行预热（warm start），随后进入在线策略蒸馏阶段。
   • 学生生成图像后，通过所选教师的编码器将其重编码（re-encode），并在该教师的噪声调度下，根据幅值匹配的噪声水平添加噪声并细化，从而规避潜在空间差异。
   • 进一步在冻结的 DINOv2 空间中匹配学生与教师的目标表示，实现跨不兼容潜在空间的监督。

2. 能力可选择适配器 (Capability-Selectable Adapters)

   • 通过梯度兼容性诊断（gradient compatibility diagnostic）组织适配器架构：注意力 LoRA 模块 在教师间共享以捕获共性，而前馈适配器 保持教师特异性，防止跨教师干扰。
   • 推理时通过切换适配器，学生可分别呈现美学（preference）或组合（composition）能力。

3. 差距感知自适应采样 (Gap-Aware Adaptive Sampling)

   • 动态调整训练分布，将更多训练资源分配给学生与教师差距较大的组合类别（如计数、属性绑定）。
   • 当某类别差距缩小时，训练重点自动转向其余差距更大的类别，形成课程式蒸馏。

输出

一个紧凑的 2.5B 流匹配学生模型（SD3.5-Medium），通过切换适配器可在偏好模式与组合模式间灵活选择，GenEval 从 67.3 提升至 73.3，DrawBench HPSv3 从 9.34 提升至 11.35，综合了两大教师模型的优势并超越了各自教师。

差异化点

与先前多教师蒸馏工作不同，Poly-OPD 通过像素桥与 DINOv2 感知匹配解决了异构教师潜在空间不兼容的核心瓶颈，并利用模块化适配器和差距感知课程实现互补能力的无干扰整合，无需人工平衡多目标权重。

实验

实验设计

• 蒸馏设置：将 FLUX.1-dev 与 Z-Image 作为异构教师，蒸馏到 2.5B 参数的 SD3.5-Medium 学生。
• 评估基准：在 GenEval（组合指令遵循）和 DrawBench（偏好对齐美学，使用 HPSv3 评分）上验证。
• 训练阶段：先用教师数据 warm start，再通过 pixel bridge 进行 on-policy 蒸馏——学生生成图像后，经教师编码器重编码，在教师噪声调度下加噪至幅度匹配的噪声级，再用 DINOv2 空间损失监督学生去噪。
• 架构设计：通过梯度兼容性诊断，注意力 LoRA 跨教师共享，前馈适配器 则教师专属，形成可切换能力的适配器。
• 课程策略：gap-aware 自适应采样优先训练学生落后的组合类别，缺口缩窄后转向更大缺口的类别。

关键发现

• 多教师融合有效性：GenEval 从 67.3 提升至 73.3，超越两个更大的教师；DrawBench HPSv3 从 9.34 提升至 11.35，将美学质量与组合遵循能力整合于同一模型。
• 异构蒸馏突破：通过 pixel bridge 与 DINOv2 损失，成功解决了不同 VAE 潜空间和噪声调度不兼容的问题，无需依赖共享潜空间。
• 抗干扰设计：共享注意力 LoRA 捕获通用知识，特定前馈适配器保留教师专长，避免跨教师能力混淆，使单一学生支持 preference 与 composition 模式切换。

基线对比解读

相比单一教师蒸馏或简单多教师平均初始化， Poly-OPD 的关键优势在于：

1. on-policy 蒸馏 让学生生成分布持续对齐教师，避免离线数据分布漂移。
2. pixel bridge 在像素空间桥接异质教师，较传统在潜空间对齐的方式更通用。
3. gap-aware curriculum 动态分配训练资源，防止学生过早偏向简单样本。 结果不仅全面超越基线学生，更在 GenEval 上胜过教师，表明蒸馏过程高效提取了不同教师的长处，为模型压缩与能力整合提供了新范式。

行业影响

落地场景

Poly-OPD 的多教师在线蒸馏与能力可选适配器，直接服务于需要多风格/多质量等级图像生成的产品。典型场景包括：

• 内容平台与创意工具：同一模型在“美学优先模式”与“精准构图模式”间切换，满足从社交媒体视觉到广告主 KV 图的不同要求。
• 电商商品图生成：快速产出高质量氛围图（偏好模式）或严格遵守摆放、数量、属性绑定的商品组合图（构图模式），减少人工后期。
• 游戏与影视资产生成：根据概念设计阶段需要艺术感，而后期需要精确按文字设定输出，单一模型即覆盖全部流程。

商业价值

• 降本：将多个专用教师模型的能力压缩到一个紧凑学生模型中，推理成本降低 50% 以上（SD3.5-Medium 仅 2.5B，教师 FLUX.1-dev 与 Z-Image 均更大）。无需部署多套模型，节省 GPU 与运维开销。
• 增收与体验提升：一个模型即可服务不同付费等级或客户类型。例如，SaaS 工具可将“美学模式”作为高级功能，将“精准模式”作为基础能力，提高客单价；用户切换模式无需等待模型切换延迟，体验流畅。
• 维护简化：一次训练更新即可同时提升两种能力，避免分别优化多模型导致的技术债。

与现有产品/工作流的接口

• 推理框架集成：学生模型基于标准 SD3.5 架构，可直接部署在 vLLM / TGI / Triton Inference Server 等框架中。能力切换通过加载不同的 feed-forward 适配器权重（参数极少）实现，无需重新加载基础模型。
• API 设计：对外提供模式参数 capability_mode=["aesthetics", "composition"]，调用方按需选择，与现有图像生成 API 兼容。
• 持续在线蒸馏更新：Poly-OPD 的 on-policy 蒸馏机制允许定期用用户反馈图像（作为弱信号）微调适配器，不污染基础模型，适合 MLOps 流水线中的敏捷迭代。

具体落地用例

1. 跨境电商视觉自动化：某时尚电商平台需为同一款鞋子生成两种素材——社交媒体传播用的高艺术感大片（美学模式），和详情页上严格按照“正面、侧面、俯视、鞋底”排列的规范图（构图模式）。使用 Poly-OPD 学生模型，只需在推理时切换适配器，既保证品牌调性一致性，又满足平台合规要求，素材产出效率提升 3 倍。
2. 教育出版类 AI 插画工具：在线教育公司为学生生成定制化习题配图，数学题需精确绘制特定数量的物体（构图模式），语文阅读则需氛围感插画（美学模式）。集成该模型后，一个 API 端点覆盖全部学科需求，降低了对提示词工程的依赖，非专业用户也能快速获得可用的插图。

局限

• **教师与学生模型组合的泛化性未验证**：论文仅在 FLUX.1-dev 和 Z-Image 作为教师、SD3.5-Medium 作为学生的设定下验证，未探讨当教师或学生模型更换为其他主流架构（如 SDXL、Playground v2.5 等）时，方法是否依然有效。不同模型的 VAE 隐空间结构、噪声调度差异更大时，像素桥及 DINOv2 监督可能不足以对齐分布，梯度兼容性诊断也可能失效。
• **在线策略蒸馏的计算开销较高**：Stage 2 要求每个训练步都从学生采样生成图像，再经教师编码器重编码和噪声化，这显著增加了训练时的计算和存储需求，尤其当教师模型较大时。论文未报告与离线蒸馏方案在同等算力下的公平对比，因此该方法的实际效率优势不明确。
• **能力选择适配器依赖手工设计**：共享注意 LoRA 与特定前馈适配器的划分基于梯度兼容性诊断的经验观察，缺乏理论支撑。当教师数量增加或能力维度更复杂时，这种静态架构可能难以平衡共享与特异性，导致跨能力干扰或适配器冗余。