TILT: 使用模型固有奖励改进扩散模型的组合式生成

TL;DR TILT 通过定义模型内在的“概念共存”奖励，在测试时倾斜扩散采样分布，无需训练即可纠正组合生成错误，在 T2ICompBench 上优于基线方法。

问题

问题背景

当前扩散模型在常规文本到图像任务中表现优异，但面对包含多个对象、属性或关系的组合性提示词（如 “一只戴红帽的猫和一只玩蓝球的狗”）时，经常出现概念遗漏、属性错配或空间关系错误，严重制约其在复杂创意生成场景中的应用。

现有方法局限

• Classifier-Free Guidance (CFG) 及其变体通过调节条件信号强度改进样本质量，但对组合约束的建模过于粗糙，易导致过饱和或细节丢失。
• Composable Diffusion 将联合分布分解为概念条件得分的线性组合，但需要独立训练的概念模型，且组合权重调整困难，对新概念组合泛化不足。
• 近年基于测试时校正的方法（如能量函数引导或贪婪观察）通常依赖外部监督——预训练奖励模型、分割网络或视觉语言模型——引入额外标注成本，且与基础模型分布存在偏差，可能破坏图像保真度。
• 现有无训练方法普遍缺乏对 “所有概念同时出现” 的显式内在奖励，无法根本解决联合分布与单概念分布间的模态重叠问题。

挑战与重要性

组合生成的核心技术挑战在于：训练数据中概念组合的长尾分布导致模型倾向于生成仅包含高频子集的样本，而非所有概念的联合出现。设计一个仅利用模型自身知识的内在奖励来重塑采样分布，使其偏向联合高概率区域，同时满足KL 散度约束以避免图像退化，是一个巧妙的优化难题。这直接关系到可控内容生成系统的鲁棒性，在广告创意、游戏资产设计、教育内容生成等强组合需求场景中具有极高商业价值，成为工业界与学术界共同关注的焦点。

行业关联

类似多模态对话系统中要求同时遵循语气、事实性与安全性约束，任何单一约束的遗漏都会导致回复质量崩塌，需要一种内在对齐机制来保障组合完整性。

核心洞察

• 将组合生成失败建模为分布重叠，并以闭式倾斜目标分布解决。与以往依赖注意力修正或外加组合能量函数的方法不同，TILT 从概率密度重叠入手，通过 KL 约束将采样偏向联合出现所有概念的区域。这一视角提供了严格的优化目标，并且倾斜分布具有闭式表达，无需训练，指导步骤原则性更强。
• 利用扩散模型自身分数函数构建内在奖励，无需外部监督或奖励模型。该奖励完全内禀于预训练模型，使 TILT 成为真正训练自由的测试时引导方法，避免了外部 CLIP 评分或判别器可能带来的分布偏移与额外计算开销。同时，根据概念分布交互自然衍生的两种指导策略及混合方案，能自动适应不同组合复杂度，在 T2ICompBench 上实现了更优的组合对齐与质量保持。

方法

TILT 是一种在测试时通过奖励对齐提升扩散模型组合生成能力的免训练框架。其核心洞察是将组合失败解释为联合概念分布与单一概念分布之间的模式重叠——模型偶发生成仅含部分概念的样本。针对这一现象，TILT 定义了一个模型内在奖励函数，该奖励由基础扩散模型自身给出，无需任何外部监督或奖励模型，直接衡量一张图像中所有概念共同出现的似然。

输入：一个包含多个概念的复杂文本提示，以及一个预训练的文本到图像扩散模型。

关键模块与流程：

• 内在奖励定义：利用模型对概念集的条件概率与边缘概率之差构建逐点奖励 r(x,c)。直观上，若某样本在各单一概念分布下的概率远高于在联合分布下的概率，则奖励较低；当联合概率与单概念概率接近时，奖励高，表明所有概念同时存在。
• KL约束目标与倾斜分布：直接在原始采样分布上最大化奖励会导致分布坍缩。为此引入与基础模型分布 p(x|c) 的KL散度约束，得到闭式的**“倾斜”目标分布** q(x|c) ∝ p(x|c) exp(r(x,c)/λ)。该分布既能提升高奖励样本的权重，又不会偏离原始分布过远。
• 扩散采样引导：在反向扩散的每一步，通过调整分数函数实现从倾斜分布采样。这自然分解为两个引导项：Score-space Composition 和 Tweedie-space Composition。前者直接组合条件得分与单概念得分之差，后者在去噪后的图像空间（Tweedie 估计）进行组合校正。两种策略分别在不同概念交互强度下表现出优势：Score-space 更有利于保持图像质量，Tweedie-space 更擅长强制概念共存。
• 混合策略：TILT 最终采用一种自适应混合方案，在采样早期偏向 Score-space 以保证生成质量，后期转向 Tweedie-space 以强化组合一致性，从而平衡两者的优点。

输出：与复杂组合提示高度对齐的高质量图像。

与同类方法的差异：TILT 的奖励源自模型本身，免去了训练额外奖励模型或依赖外部视觉-语言模型进行评分，使得组合引导完全内置且计算开销更小，同时通过闭式倾斜分布提供了原则化的采样修正路径，区别于以往需要手动设计组合规则或启发式引导的方法。

实验

实验设计

TILT 在 T2ICompBench 的组合提示集上进行定量与定性评估，该基准涵盖属性绑定、空间关系、非空间关系等复杂场景。比较对象包括多种无训练的测试时引导方法：Composable Diffusion、StructureDiffusion、ConPreDiff 等。评价维度兼顾组合对齐（如 CLIP 文本-图像相似度、LLM 评分）与图像质量（FID、Aesthetic Score），以验证方法是否在提升指令遵循的同时保持生成质量。

关键发现

• 组合对齐显著提升：TILT 的内在奖励机制有效抑制了概念重叠模式，使多概念联合生成的概率大幅提高，在属性绑定和关系型提示上尤为突出。
• 质量无损：与常见引导方法常伴随的图像失真不同，TILT 的 KL 约束倾斜分布目标能保真地生成图像，FID 等指标与基模型持平或更优。
• 混合引导策略有效：基于得分空间与Tweedie 空间的两种引导各有其适应场景，混合策略动态平衡二者，整体性能最优。

与基线的深度对比

相较于 Composable Diffusion 通过独立条件分布的得分加法，TILT 直接从联合分布与单概念分布的重叠模式出发，利用模型自身分布定义奖励，无需外部评分模型或额外数据。这种内在奖励避免了对外部监督的依赖，使方法更通用且易于部署。同时，与 StructureDiffusion 等依赖注意力调控的方法相比，TILT 通过形式化的 KL 约束推导出明确的引导步，理论更坚实，超参数敏感性更低。实验表明，TILT 在提升组合精度的同时，未引入常见的颜色偏移或伪影，这得益于其目标分布始终紧贴基模型的先验。

行业影响

落地场景

TILT 作为即插即用的测试时引导方法，天然适配所有基于扩散模型的生成式 AI 产品线：

• 创意设计与广告：文案到多元素合成图生成（如“穿红裙子的猫手持蓝色气球站在黄色沙发旁”），可直接用于电商商品图、社交媒体营销素材的批量创作。
• 内容平台与游戏：复杂场景描述生成游戏概念图、漫画分镜，无需模型重训即可灵活组合角色、道具、环境，快速迭代创意。
• 企业级自动化：生成符合业务逻辑的复合文档（如“带条形图的金融报告封面，背景为深蓝渐变”），满足定制化视觉需求。

商业价值

• 降低推理成本：方法无需外部奖励模型或额外标注，利用模型内在 logits 构造奖励，消除调用大模型判别器的网络开销与 token 消耗，对延迟敏感的生产环境（如实时生成 API）至关重要。
• 提升图像生成的一次性通过率：复杂组合提示下更准确的物件归属与属性绑定，减少重试和人工挑选成本，直接提高内容生产效率。
• 改善终端体验：用户输入更自然的复合描述即可得到符合预期的图像，降低了 prompt 工程门槛，拓宽了非专业用户的使用面，有助于产品留存与商业化变现。

与现有产品/工作流的接口

TILT 可无缝集成到现有扩散模型推理管线，因为它是纯采样阶段引导：

• 与 diffusers 等扩散库对接：以调度器（scheduler）回调或自定义引导步进形式插入，无需修改模型权重。典型实现是在去噪循环中注入 tilted 分布的条件，可封装为 guidance_fn 供现有 pipeline 调用。
• 与 CFG 等已有引导方法兼容：论文指出 TILT 可视为 CFG 的一种推广或组合，在实际部署中可与 CFG、负面提示等同时使用，通过平衡参数 α 调节效果。
• 作为 API 特性上线：生成服务可将 TILT 作为高级选项（如 compositional_guidance=True）暴露，仅对复杂 prompt 触发，保持简单场景的原有速度。

具体落地 Use Case

1. 电商商品图生成：商家上传产品或模特图，输入“白色 T 恤上印彩色渐变 logo，模特站在极简工作室灯下，背景有绿植”，无需单独训练模型即可保证 logo、服装、环境元素同时正确出现。TILT 的 reward tilting 抑制了元素遗漏或混淆（如背景绿植跑到 T 恤上），可直接用于商品详情页主图生成。
2. 在线教育插图定制：教育内容平台根据课程文本自动生成插图，“细胞核内蓝色 DNA 双螺旋结构，周围有红色线粒体，背景为细胞质浅粉色”。TILT 能维持各生物结构的正确空间关系与颜色绑定，避免器官叠混，使抽象概念可视化更准确，减少人工校图成本。

局限

• TILT 依赖模型内在奖励（如 log-probabilities），要求底层扩散模型可输出概念条件似然，对于闭源 API 或仅提供隐式得分的模型难以直接应用；同时，为每个概念分别评估条件与联合分布会显著增加推理时的计算量，影响生成效率。
• 实验仅基于 T2ICompBench 基准，该数据集在组合复杂性与规模上相对有限；未在 DrawBench、PartiPrompts 等更广泛的多概念、属性绑定及关系组合任务上进行验证，因此方法对其他组合场景的泛化能力尚不明确。
• 方法需要将复杂 prompt 预先拆分为多个子概念，这种分解依赖人工设计或启发式规则，当概念之间存在复杂交互（如“左手拿红苹果的绿鹦鹉”）时，简单拆分可能引入偏差，导致奖励信号偏离真实组合意图，影响生成质量。