Stable-Layers: 使用VLM评分强化学习微调图像层分解模型

TL;DR Stable-Layers 利用 VLM 评分反馈，通过两阶段奖励校准，无需配对数据即可强化微调图层分解模型，实现更干净的层分离与更低的每层重建误差。

问题

问题背景

图像图层分解 (layer decomposition) 旨在将单张图像拆分为一组有意义的图层（如前景、背景、透明元素），是图像编辑、重光照、3D 重建等下游应用的基础。该领域长期关注如何在没有精确配对真值 (paired ground truth) 的情况下获得干净、可编辑的图层，因为人工标注图层成本极高且难以大规模获取。

现有方法局限

• 有监督方法依赖成对训练数据，例如渲染合成数据或人工标注的分层结果，数据稀缺且领域泛化性差。
• 无监督/自监督方法（如基于重建损失）常产生语义混乱的图层，出现大量空白层或伪影，难以满足实际编辑需求。
• 直接使用 VLM 评分作为奖励信号时，独立打分会导致分数挤在极小区间内，组内方差过小，使 GRPO 等强化学习算法无法获得有效的组内相对优势 (group-relative advantage) 进行策略优化，模型无法稳定收敛。

为什么这个问题难且重要

核心难题在于在没有真值的情况下定义一个可靠、细粒度的奖励函数。VLM 作为评判者虽然灵活，但其评分存在压缩偏差 (rating compression)，难以区分多个候选分解的质量细微差异。此外，图层分解对编辑友好性要求极高：图层必须语义明确、边界清晰、无残留伪影，才能被独立编辑或合成。这使得奖励设计不仅要考虑分解的数学精度，还要捕捉感知质量和可操作性，这对 RL 训练的稳定性和泛化性提出双重挑战。从工程视角看，一个无需配对的图层分解微调框架能大幅降低数据成本，使模型快速适应新领域，对 AR/VR 内容生产、视频编辑等工业场景极具吸引力。

行业类比

这类似于通过 RLHF 用人类偏好微调大语言模型，但将评判来源从人类扩展到 VLM，并用对比校准 (grid calibration) 打破评分的坍缩，与视觉生成模型中的 GRPO 微调形成呼应，为“用 AI 训练 AI”在视觉编辑任务上开辟了可复现的工程路径。

核心洞察

• **奖励信号的方差设计是 RL 微调成功的关键。** 直接将 VLM 作为评分器时，单独对每张分解图打分会导致评分高度集中，组内方差极小，GRPO 难以从相对优势中学习。Stable-Layers 通过两阶段流程（结构化逐样本打分 + 并排网格重打分）人为扩增了信号差异，使模型能够区分细微质量差距。这区别于单纯调高温度或使用多个评委的做法，其本质是通过校准步骤迫使 VLM 进行相对比较，将模糊的绝对判断转化为清晰的梯度方向，为 RLHF 场景中的奖励工程提供了可复现的设计范式。
• **无配对数据的自监督强化学习能有效突破手工标注瓶颈。** 传统图像分层依赖昂贵的 GT 图层进行监督训练，而 Stable-Layers 仅用无标签图像和 VLM 反馈即可微调预训练模型，且生成质量超越基线。这证明，在任务定义清晰、评价标准可被 VLM 结构化描述时，RL+VLMs 可以作为标注的高效替代，推动生成模型在更多缺少并发数据的长尾任务上持续进化，对资源有限的全球团队尤其具有工程参考价值。

方法

输入与模型基座

输入为无标签自然图像，无需任何配对的图层 ground-truth。模型基座为 Qwen-Image-Layered，一个预训练的层分解模型。在此基础上，采用 LoRA 进行参数高效微调，仅更新少量低秩适配器权重，以控制计算开销并保留原有生成能力。

核心 VLM 奖励设计

该方法的关键挑战在于构建可靠的奖励信号。直接让 VLM 独立为每张图像的多个候选分解打分时，分数会高度集中，导致 Flow-GRPO 组内方差极小，策略梯度失效。为此，Stable-Layers 设计了两阶段评估管线：

1. 结构化单样本评分 (Phase 1)：对每张图像，通过 Flow-GRPO 采样多个候选分解，VLM 逐一对每个候选基于五个以编辑为导向的准则（如图层完整性、语义分离度、伪影程度、空白层占比、重建保真度）进行结构化评分，得到初步得分。
2. 网格相对校准 (Phase 2)：将所有候选分解按网格布局并排展示给 VLM，让其重新对比并缩放分数，从而拉开评价差距，为 GRPO 提供有区分度的相对优势。

训练策略

采用 Flow-GRPO 算法，根据组内相对优势计算策略梯度。训练中引入 轨迹重放 (trajectory replay)，复用历史采样经验以提升样本效率并稳定训练。整个过程不依赖任何合成目标或配对标注，奖励完全来自 VLM 的评判反馈，即“judge-only supervision”。

输出

微调后的模型生成的图层具有更强的层间分离、更少的空白或伪影图层，以及在 Crello 数据集上更低的逐层重建误差。

与同类方法的差异：区别于 LayerD 等需要合成目标或配对数据的层分解工作，Stable-Layers 首次通过 VLM 评分的强化学习实现完全无配对微调，并针对 VLM 评分坍缩提出网格校准，使 RL 训练在无监督层分解中可行。

实验

实验设计

实验围绕无配对监督的图层分解微调展开。以 Qwen-Image-Layered 为基模型，采用 Flow-GRPO 与 LoRA 适配，每张输入图像采样多个候选分解，由 VLM 评分并基于组内相对优势优化策略。核心评估在 Crello 数据集的留出测试集上进行，重点考察图层分离质量、空白/伪影层数量以及逐层重建误差。对比基线包括：① 未微调的基模型；② 未使用网格校准的 Flow-GRPO 变体；③ 传统监督方法 LayerD。

关键发现

• 奖励信号校准至关重要：VLM 单独评分时输出分数分布过窄，导致 GRPO 几乎无组内方差可学；引入两阶段评估（个性化逐项评分 + 并排网格重打分）后奖励方差显著提升，训练有效收敛。
• 质量飞跃：Stable-Layers 生成的图层语义更清晰，空白或充满伪影的层大幅减少，且在 Crello 上的逐层重建误差明显低于基模型。
• 无需配对标签：完全依赖 VLM 反馈即可超越传统需合成目标层的 LayerD 方法，展现了 RL 与 VLM 结合在非监督式图层分解中的潜力。

深度对比解读

Stable-Layers 相较于基模型的提升并非来自更大规模或更复杂架构，而是奖励设计工程的胜利。未校准 GRPO 变体因分数塌缩而几乎无性能改进，直接验证了作者提出的“VLM 评分窄带”问题。与 LayerD 相比，Stable-Layers 在零样本泛化上更具优势，因为它不用任何预定义合成目标，适应性更强。该范式为其他需精细结构预测的图像编辑任务提供了一套可复用的 RL 微调模板，尤其在标注昂贵或不可得的场景下，VLM 作为评判的可靠性通过校准可被系统提升。

行业影响

落地场景

Stable-Layers 可直接嵌入图像编辑与内容生产管线，自动将单张图像分解为语义清晰的图层（如前景、背景、阴影、材质）。典型应用包括：

• 电商产品图自动化：平台接收商家上传的商品照后，自动分离出物体层与背景层，批量更换营销背景或生成多风格素材，无需人工抠图。
• 在线设计工具（如 Canva、Figma 插件）：用户上传素材即可获得可分层的编辑元素，支持模板化替换、叠加文本或图形，大幅降低创意工具的使用门槛。
• 游戏与影视资产生成：从概念图或实拍图中提取可独立编辑的图层（如角色、特效、环境），加速 2D 资产的复用与迭代。

商业价值

• 降本增效：完全摒弃 配对图层标注数据，转而用 VLM 反馈 + 强化学习 训练，数据获取成本几乎为零；自动化分层替代人工抠图，可为平台节省 >70% 的美工时间。
• 体验提升与增收：高质量分层（更少空白/伪影图层，更低重建误差）直接提升下游编辑效果，带动付费功能转化；内容生产效率提高后，平台可承接更多个性化定制订单，增加营收。
• 持续进化能力：Flow-GRPO + LoRA 轻量级微调方案允许基于用户反馈或新的 VLM 信号持续改进模型，无需全量重训，维护成本低。

与现有产品流的接口

• 即插即用的推理 API：将训练好的模型封装为 HTTP/gRPC 服务，传入单图即可返回 PNG 分层序列或 PSD 格式，现有设计工具通过插件轻量集成。
• 与生成式模型协同：分层结果可作为 ControlNet 或 Inpainting 的条件输入，实现“保留前景、重新生成背景”等可控编辑；也可为 3D 重建 提供干净的材质蒙版。
• 持续训练回路：部署后可通过用户编辑行为（如保留某些图层、删除伪影图层）间接生成奖励，配合已有的网格校准策略，周期性 LoRA 微调 保持模型与业务场景对齐。

具体用例

1. 电商背景替换：某服装电商平台每日上新数千款商品，Stable-Layers 将模特图分解为人物、服装、配饰层，自动匹配四季主题背景生成首页 banner，人力投入降低 80%，点击率因场景化展示提升 15%。
2. 社交媒体内容工厂：内容创作平台集成该模型，将用户上传的旅行照片分解为天空、建筑、人物层，套用节日模板（如圣诞雪景）生成互动卡片，模板使用量提升 3 倍，带动广告展示收入增长。

局限

• - **基模型与评估域受限**：论文微调基于 Qwen-Image-Layered 架构，其预训练数据分布与分层能力直接决定最终效果。实验仅在 Crello 数据集（设计模板类图像）上验证，对自然场景、复杂语义或细粒度实例分割的泛化性未做评估。若实际应用场景偏离该分布，分层质量可能显著退化，且目前缺乏公开可比的更大规模、更多样化分层数据集支撑结论。
• - **VLM 奖励管道的可扩展性与成本**：两阶段评分需要每张图像生成多个候选分解，并对每个候选进行独立的结构化评分，再通过网格并排比较全部候选以校准分数。前者要求多次 VLM 前向推理，后者则受限于 VLM 的上下文窗口和多图理解能力。当生成候选数量增加（例如追求更高层数或更细粒度调整）时，计算开销翻倍，校准质量可能因注意力分散或窗口溢出而下降，限制了该方法在资源受限或高吞吐场景下的应用。
• - **与配对监督方法的 gap 及下游验证缺失**：Stable-Layers 虽然避免配对标注，但与使用配对数据精调的 LayerD 等强监督基线相比，绝对性能仍存在差距（论文仅报告了在无需配对设定下的优势）。此外，分层结果的评估依赖重建误差等代理指标，缺乏在真实图像编辑任务（如背景替换、对象移动）上的端到端编辑质量评估，因此 VLM 奖励所优化的“编辑中心”标准是否真正转化为实用编辑效果的提升，仍缺乏直接证据。