面向多轮图像编辑的在线策略自蒸馏

TL;DR 该论文针对多轮图像编辑中的快速退化问题，将根源定位为训练与测试条件分布错配，提出 MT-OPSD：在自生成状态上进行 on-policy 自蒸馏，由干净条件教师提供监督，无需多轮标注即可显著提升长程编辑鲁棒性，同时保持单轮编辑质量。

问题

问题背景

指令式图像编辑在单轮任务上表现优异，但真实编辑工作流通常为多轮迭代：每轮指令作用于上一轮输出。因此，长程多轮编辑的鲁棒性成为当前关注焦点。

现有方法局限

现有模型在训练时以干净源图像为条件，推理时却必须反复基于自身不完全的输出进行下一次编辑。这种训练-测试条件分布不匹配（train-test mismatch）导致编辑质量随轮次快速退化，出现对象丢失、伪影累积或指令偏离。此外，现有数据集缺乏多轮编辑标注，难以直接监督迭代能力；简单用单轮数据生成 rollout 又可能引入分布漂移。已有改进如强化学习或随机 rollout 通常需要大量交互且训练不稳定。

为什么这个问题难/重要

多轮编辑的核心挑战在于：模型必须处理自身分布外的中间状态，而中间状态空间巨大且可能包含错误；同时需兼顾指令忠实性与图像一致性。从工程角度看，多轮鲁棒性直接关系到交互式设计工具、自动化内容流水线等实际应用的可靠性。业界对可长期运行的编辑 agent 需求不断增强，但缺少多轮标注数据意味着必须探索自蒸馏、on-policy 等创新训练范式，这进一步提高了技术门槛。

行业类比

类似对话式 LLM 在多轮对话中因上下文漂移逐渐偏离用户意图，需要 RLHF/DPO 等在线策略方法保持一致性；图像编辑同样需要在线策略自蒸馏来防止多轮崩溃。

核心洞察

• 本工作将多轮图像编辑中的性能退化归因于训练与推理之间条件分布的偏移，而非简单的误差累积。现有指令编辑模型在训练时仅以干净源图像为输入，而推理时第 t 轮输入是第 t-1 轮的模型输出，该输出可能包含伪影或部分编辑未完全满足指令，从而形成分布外输入。MT-OPSD 通过 on-policy 采样让模型在自生成的中间状态上训练，同时用干净条件下的 teacher 提供监督信号，直接对齐训练与推理的条件分布。这一视角与常见的多轮数据增强或显式错误修正不同，无需额外多轮标注即可提升长程编辑稳定性。
• MT-OPSD 的核心机制是两分支自蒸馏目标与课程式 rollout 及门控教师晋升的组合，实现了无多轮标注的稳定训练。teacher 始终以干净图像为条件，student 则接受自生成 rollout 状态，两者共享相同的编辑指令；训练损失由 student 输出与 teacher 输出（或编辑目标）计算，鼓励 student 模仿干净条件下的编辑行为。rollout 长度逐步增加的课程设计模拟推理时逐渐变长的链式编辑，而 gated promotion 避免 teacher 被 student 输出污染。该框架在三种编辑 backbone 上验证，在保持单轮质量的同时显著降低多轮崩溃，对实际部署中的长会话编辑具有直接工程价值。

方法

MT-OPSD 框架针对多轮图像编辑中的训练-测试分布偏移问题，采用 on-policy 自蒸馏 策略，使模型在自身生成的中间状态上训练，同时利用干净条件教师提供监督，无需额外多轮标注。

输入与整体流程

• 输入为单张源图像和一系列编辑指令（多轮会话）。
• 训练时先用当前模型（学生）按策略生成多步编辑轨迹，得到自生成 rollout 状态（即模型自己迭代产生的条件输入图像）。
• 教师模型在干净源图像条件下生成编辑结果作为监督目标，学生模型在自生成状态上模仿教师输出，从而对齐分布。

关键模块

1. Self-Generated Rollout States：在训练过程中动态生成多轮编辑的中间状态，替代静态干净图像，让模型适应自身输出分布。
2. Two-Branch Training Objective：一个分支在干净源图像上训练，保持单轮编辑质量；另一个分支在自生成状态上训练，提升多轮鲁棒性。两个分支共享权重，教师提供软标签或编辑监督。
3. Rollout Curriculum：逐步增加 rollout 步数（从少到多），使模型先适应短链编辑，再渐进处理长序列，缓解训练初期的不稳定性。
4. Gated Teacher Promotion：教师模型随训练迭代可能更新（如学生 EMA），但引入门控机制控制教师晋升时机，避免教师质量劣化影响蒸馏效果。

输出与效果

训练后的模型在推理时能对任意长度指令链保持稳定编辑，显著降低多轮坍缩，同时基本保持单轮编辑性能。

与同类方法差异：现有方法多依赖多轮人工标注或仅在干净图像上训练，而 MT-OPSD 利用 on-policy 自生成数据加干净条件教师信号，实现了无需多轮标注的长程编辑鲁棒性提升。

实验

实验设计

论文提出 LME-Bench,一个包含 100 个十轮编辑会话 的基准,专门评估长程迭代编辑的鲁棒性。评价协议包括指令执行判定与退化判定,指标覆盖编辑成功率和多轮塌缩程度。实验在三个编辑骨干网络上进行,基线包括现有指令编辑模型,并对比 MT-OPSD 与这些基线在 LME-Bench、MSE-Bench、ImgEdit 上的表现。MT-OPSD 采用在线策略自蒸馏:由干净条件教师提供编辑监督,学生模型在自生成的 rollout 状态上训练,并通过 rollout 课程和门控教师晋升逐步稳定学习过程。

关键发现

作者发现现有编辑模型在递归编辑下迅速退化,归因于训练时的干净源图像条件与推理时自身输出条件的分布不匹配。MT-OPSD 通过让模型在自生成的、可能带瑕疵的状态上学习,显著改善长程编辑成功率,减少多轮塌缩,同时基本保持单轮编辑质量。消融研究表明双分支目标、在线策略监督、rollout 课程与门控晋升均对最终性能有贡献。

基线对比解读

与直接使用干净图像训练的基线相比,MT-OPSD 的核心优势在于将分布偏移纳入训练过程,使模型适应迭代编辑中的误差累积。它不需要多轮人工标注,而是利用单轮教师模型生成监督信号,极大降低数据采集成本。门控教师晋升机制避免了教师模型在自蒸馏中退化,确保监督信号质量。这一思路可推广至其他序列决策或自回归图像生成任务,为长程一致性编辑提供工程上可行的训练范式。

行业影响

落地场景

MT-OPSD 适用于多轮迭代图像编辑工具，如电商商品图设计、内容平台视觉素材调整、设计协作软件中的连续修改。典型流程：用户在同一会话内依次发出“去除背景杂物 → 调整色调为暖色 → 添加阴影”，模型需保持前序结果稳定，避免纹理失真与语义漂移。LME-Bench 可系统验证此类长程场景的鲁棒性。

商业价值

• 降低人工重做成本：多轮崩溃导致用户需从头生成或手动修复，MT-OPSD 大幅减少返工，缩短设计周期。
• 提升产品留存与付费转化：稳定的多轮编辑能力使工具更接近真实工作流，提高日活和订阅意愿。
• 训练数据降本：方法不需要多轮标注，仅利用单轮编辑数据与教师模型，训练成本可控。

跟现有产品/工作流的接口

• 可作为微调插件 嵌入现有指令编辑主干（如 InstructPix2Pix、Stable Diffusion），训练时增加 rollout + 蒸馏分支，推理接口不变。
• 提供 LME-Bench 作为回归测试集，集成到 CI/CD 中监控多轮编辑质量。
• 对现有 API 无侵入：输入输出仍为图像 + 指令 → 图像，便于在企业级编辑服务中快速落地。

具体 use case：某电商 SaaS 提供商品图编辑 API，用户常进行多步调整（换背景、改色调、增删元素）。现有单轮模型在第三四轮出现细节丢失，集成 MT-OPSD 微调后成功率提升，支持更复杂的自动化商品图生成流水线。

局限

• **依赖教师模型上限**：MT-OPSD 的监督信号来自在干净图像上训练的教师模型，学生模型通过自蒸馏模仿教师行为，因此性能受限于教师能力。对于教师本身不擅长的复杂编辑指令或累积失真场景，学生无法超越教师，存在性能天花板。论文未深入探讨教师模型的鲁棒性边界，也未验证使用不同质量教师对结果的影响。
• **基准规模与评估偏差**：LME-Bench 仅包含 100 个十轮会话，图像和指令类型覆盖有限，可能无法全面反映真实世界多轮编辑的多样性。评估协议依赖 LLM 进行指令判断和退化判断，虽然便于自动化，但 LLM 存在主观偏见和不确定性，可能影响指标的可重复性和跨模型比较的公平性。
• **训练开销与泛化性**：MT-OPSD 需要 on-policy 采样和多次 rollout 生成自生成状态，训练成本显著高于标准单轮编辑模型。论文仅在三个编辑骨干上验证，对不同架构或更大规模模型的适用性尚不明确。此外，课程学习和门控教师晋升等模块引入额外超参数，实际部署调优复杂度较高。