扩散模型中基于 Score-Control 减少 Hallucination

TL;DR 通过方差引导的评分调制(VSM)控制评分函数雅可比矩阵，降低平滑性以减少扩散模型幻觉(~25%)，同时保持生成质量与多样性。

问题

扩散模型的幻觉问题

扩散模型已成为多模态生成的核心引擎，尤其在图像合成领域展现出惊人的质量。然而，幻觉 (Hallucinations) ——模型产生的不符合真实数据分布、但视觉上可能合理的虚假样本——正成为阻碍其走向高信任场景的关键瓶颈。尽管现有工作已注意到该现象，但它们大多依赖提示工程、后处理过滤或对抗性微调，缺乏对幻觉生成机理的深入理解，更未从根源上抑制。一个已被提出的假设是，分数函数过于平滑 (score smoothness) 导致了幻觉，但这一直觉既缺少严格的定量刻画，也迟迟没有转化为可操作的训练或采样干预。

这一问题之所以棘手，原因在于：扩散模型采样本质上依赖于学习到的分数场，而该分数场在数据密度较低的区域容易估计误差大，进而产生超出真实支持集的样本。如果强行调整分数场以降低平滑性，又极可能损及生成样本的多样性与细节保真度。更重要的是，在医学影像、自动驾驶数据生成等安全攸关的应用中，幻觉会直接扭曲诊断或仿真结果，引发难以预料的后果。因此，如何在原则性理论指导下，精细操控分数函数的局部性质，实现幻觉压制与生成质量的最优平衡，成为亟待突破的技术难题。

类比大语言模型的事实性幻觉，视觉生成中的虚假样本同样是模型“过度联想”的产物：当模型尝试填补数据流形上的空洞时，可能生成看似合理却根本不存在的内容。消除或缓解这一现象，是生成式 AI 从炫技走向规模化落地的必经之路。

核心洞察

• 将扩散模型的幻觉现象与得分函数的**Lipschitz 常数**建立定量关联，揭示了分数光滑度是幻觉的根源。与以往仅从经验观察或噪声调度角度解释幻觉不同，本文从密度估计视角提供了数学框架，明确将幻觉概率质量与得分光滑度绑定，为系统性控制幻觉提供了可量化的理论依据。
• 提出 **Variance-Guided Score Modulation** (VSM)，通过自适应调制得分 Jacobian 来直接控制得分光滑度。不同于修改引导尺度或采样过程的常见方案，VSM 在训练阶段作用于得分函数内部，根据去噪方差动态抑制光滑度偏差，显著降低幻觉（~25%）的同时保持生成质量与多样性，为可靠扩散生成开辟了新的路径。

方法

方法概览

VSM 方法遵循 “分析评分平滑度 → 设计方差引导调制 → 优化评分雅可比” 的线索，直接作用于预训练扩散模型的评分函数（score function），以降低幻觉生成概率。

输入与前置检测

• 输入：标准扩散模型的加噪图像 x_t 及对应时间步 t，通常来自预训练的 DDPM 或 LDM 模型。
• 幻觉检测模块（辅助）：在训练或评估阶段，可利用预定义的检测器（如基于语义一致性或棋盘规则）自动标注生成样本是否属于幻觉，用于监督信号。但 VSM 的核心调制并不依赖实时检测，而是基于评分函数本身的统计特性。

核心模块：方差引导的评分调制

1. 计算评分与方差：对于给定 x_t，从预训练模型获得评分估计 s_θ(x_t, t)，同时估计该评分在不同噪声实例下的条件方差 Var[s_θ|x_t]。方差反映了模型对该样本去噪方向的不确定性。
2. 构建调制项：引入一个与评分雅可比（score Jacobian）相关的正则化损失。该损失惩罚评分函数的利普希茨常数（Lipschitz constant），但通过方差加权实现自适应惩罚：方差大的区域（通常对应语义模糊或分布外区域）施加更强的平滑抑制，迫使评分函数更陡峭，从而减小该区域的幻觉概率质量。
3. 训练目标：在原有扩散损失（如 ||ε - ε_θ(x_t, t)||²）基础上添加 ℒ_VSM 项，整体优化 θ（可全参数微调或仅调整评分头）。论文还提出仅微调方差头（variance-head-only fine-tuning）的高效变体，大幅降低训练成本。

输出与效果

• 优化后的模型在生成过程中，评分函数不再过度平滑，能更精确地逼近真实数据分布的评分，从而减少生成不合理样本（例如残缺物体、违反规则的棋盘等）。
• 实验显示幻觉率降低达 ~25%，同时 FID 等指标表明保真度和多样性未受影响。

与同类工作的差异

不同于通过调整引导强度、对抗训练或后处理过滤来缓解幻觉的方法，VSM 直接从 评分函数的几何性质（利普希茨常数）入手，提供了一种原理性更强、无需改变采样流程的解决方案，且方差引导实现了细粒度的区域自适应调制。

实验

实验设计

论文在合成数据与真实图像数据集上验证 Variance-Guided Score Modulation (VSM) 有效性。作者特别构建了两个具有极端语义变化的基准数据集——ChessImages（国际象棋棋盘，要求棋子布局合法）和 Cards（纸牌排列，需符合牌面语义），用于系统评估幻觉（生成不合理样本）。实验采用标准扩散模型基线，引入幻觉检测模块量化不合理样本比例。除主实验外，还包括消融实验、泛化 vs. 记忆分析（在 ChessImages 上）、仅微调方差头（variance-head-only fine-tuning）以及生成步数影响等分析。

关键发现

VSM 通过控制 score 函数 Jacobian 来降低 score 平滑性，使学习到的 score 更接近真实数据分布的 score，从而减少概率质量流向数据支撑集之外的区域。实验结果：

• 在多个数据集上，幻觉率降低最高约 25%，且生成质量（FID）基本持平或略有改善；
• 消融实验证实，方差引导的调制是性能提升的核心；
• 在极端语义变化场景（如 ChessImages），VSM 显著减少不合法棋子的产生，且未牺牲多样性；
• 仅微调方差头即可部分实现幻觉控制，表明 score 平滑性主要集中在方差预测头部。

与基线的深度对比

对比标准扩散模型（如 DDPM / LDM），VSM 并非外部后处理或拒绝采样，而是直接在 训练或推理 阶段通过调整 score 函数来降低幻觉倾向。这种原理性改进不同于通过提示工程或生成后过滤来掩盖幻觉的做法，它从根源上减轻了 score 函数 Lipschitz 常数过大导致的概率密度泄漏问题。与直接微调扩散模型相比，VSM 引入的额外计算开销很小，且可即插即用，无需重新训练整个模型。在 ImageNet-1K 等通用数据集上，VSM 不影响正常类别的生成保真度，证明该方法可推广至大规模生成任务，为构建更可靠的生成式 AI 系统迈出了坚实一步。

行业影响

落地场景

扩散模型在多领域内容生成中占据核心地位，但其幻觉问题（生成不合理或失真的样本）严重制约了可靠性。本文提出的 Variance-Guided Score Modulation (VSM) 通过控制得分函数雅可比矩阵来抑制幻觉，可集成到以下典型场景：

• 电商与广告创意：商品图像生成（如虚拟试穿、场景图渲染）中，VSM 可减少服装变形、物体嫁接错误等幻觉，提升素材可用性。
• 自动驾驶感知数据增强：合成罕见天气、夜间等场景时，VSM 能避免生成不符合物理规律的交通标志或车辆，保障训练数据真实性。
• 医疗影像合成：在数据扩增任务中，VSM 可降低病理结构的错误生成风险，保障下游诊断模型的安全边界。

商业价值

• 降本：削减人工审核与二次生成成本。以电商产品图生成为例，幻觉率降低约 25% 可直接提升自动化流程的一次通过率，减少人工筛选工作量。
• 增收与体验提升：更可靠的生成内容能提高用户信任度（如广告点击率、虚拟试穿转化率），在内容平台中减少因生成物荒谬导致的用户流失。
• 风险控制：在安全敏感的自动驾驶或医疗领域，降低幻觉意味着减少因错误合成数据引发的模型偏差，规避潜在责任风险。

与现有产品/工作流的接口

VSM 作为一种训练期调节策略，可无缝嵌入主流扩散模型堆栈：

1. 训练阶段集成：VSM 的损失函数 L_VSM 可直接加入现有的扩散模型训练目标（如 Stable Diffusion 微调流程），无需改动推理架构，无额外推理开销。
2. 即插即用后微调：文中提出的 Variance-Head-Only Fine-tuning 模式允许仅微调部分参数，降低部署成本，便于在已有生成服务上快速启用幻觉抑制。
3. 评估对齐：论文同时发布了极端语义变异基准数据集，企业可将其纳入幻觉测试环节，持续监控生成可靠性。

具体用例：

• 电商虚拟试穿服务：某服装品牌使用扩散模型生成模特试穿图，VSM 微调后可减少时装拼接处的纹理撕裂或人体比例失调，使 AI 生成图可直接用于商品详情页，缩短拍摄周期。
• 自动驾驶仿真平台：合成道路积雪场景时，VSM 能避免生成错误车道线或扭曲的交通信号灯，确保感知模型训练的鲁棒性，加速算法迭代。

局限

• - **仅部分缓解幻觉**：VSM 通过控制得分 Jacobian 迹来降低得分平滑度，但论文报告幻觉减少最多约25%，并未完全消除。对于医疗图像等高风险场景，残留幻觉仍可能造成严重后果。方法仅关注 Jacobian 迹这一标量度量，可能忽略得分函数在高维空间中其他结构特性（如曲率方向），限制了彻底消除幻觉的可能性。
• - **评估范围有限且计算成本不明确**：实验主要在小型合成数据集、ChessImages、Cards 及 ImageNet-1K 上进行，未在主流大模型（如 Stable Diffusion 3）或更复杂文本到图像场景中验证。VSM 需估计得分 Jacobian 迹（如通过 Hutchinson 技巧），这引入了额外计算和内存开销，但论文未系统分析其对训练/推理效率的影响，也未给出资源消耗对比，这削弱了实际部署参考价值。