揭示语言模型中的潜在推理策略

TL;DR 从预训练语言模型的输出分布中解耦出多种潜在推理策略，通过惊奇导向的变分目标避免后验坍缩，恢复的策略编码与真实策略对齐。

问题

大语言模型在数学推导、代码生成等推理任务中常隐含多种求解策略，但这些策略纠缠于输出分布中，缺少显式表征与控制手段。

现有潜变量方法（如 VAE 应用于语言模型）试图从输出中推断隐式策略，但面临严重 后验坍塌：由于生成器由预训练模型初始化，它本身已能很好地建模 ( p_\theta(y \mid x) )，标准 ELBO 目标无法提供足够梯度迫使隐变量 ( z ) 被利用，导致潜变量退化到先验，无法编码有意义的策略差异。基于提示工程或强化学习的策略分离则需要大量人工标注或精心设计奖励，难以覆盖模型内隐的所有真实策略。

该问题的难点在于，在没有显式策略标签的情况下，如何设计自监督目标，使潜变量捕获那些对输出有影响但未被基础模型固定成分解释的差异性信号。其重要性在于，策略解耦是实现推理可控性、可解释性与稳健性的关键——若能显式操纵推理策略，便可在高风险决策中（如自动定理证明、医疗建议）提供策略级审计，也能针对不同策略进行错误归因。

类似强化学习中从智能体行为轨迹推断技能或子目标，从语言模型输出分布中分离推理策略，是为大模型赋予策略感知能力的基础步骤。

核心洞察

• 该工作提出了一种基于分数信息增益的变分目标，通过将重构压力集中在基模型高意外性的 token 上，迫使潜在变量 z 编码策略相关的响应变化，从而有效缓解标准变分自编码器应用于预训练语言模型时的后验坍塌问题。与传统方法（如 KL 退火、free bits）不同，它无需调节温度系数或手工约束，而是从信息论角度直接激励 z 与响应的互信息，使得学得的潜在代码能够可解释地与不同推理策略对齐。
• 在预训练语言模型的响应分布中显式分解出潜在策略空间，并提供了一种无需微调或提示就能通过路由选择来控制生成策略的机制，这为模型行为的结构化理解和可控生成开辟了新途径。相比依赖于昂贵的人类标注策略数据或对模型进行微调的方法，该框架完全无监督地从模型已有的分布中恢复出多策略结构，且保留了原模型的输出质量，更适合实际部署。

方法

输入与整体架构

给定一个推理问题文本 $x$，方法目标是将预训练语言模型 $p_\theta(y \mid x)$ 的生成分布显式分解为策略条件化的形式。架构由两个核心模块构成：

• Router $r_\phi(z \mid x)$：将输入映射到一个离散潜变量 $z$ 的分布，每个 $z$ 编码一种不同的推理策略。
• Generator $g_\phi(y \mid x, z)$：在策略 $z$ 的引导下生成最终答案 $y$，该模块直接初始化为原始基础模型 $p_\theta$。

关键挑战：后验坍塌

由于 $g_\phi$ 从 $p_\theta$ 初始化，它已经能独立生成合理的 $y$，因此标准变分推断（ELBO）会促使模型完全忽略 $z$，导致后验坍塌。常规缓解手段（如 KL 退火、free bits）在此处效果不佳，因为模型没有动力让 Router 编码有用的策略差异。

创新训练目标

为解决上述问题，提出了基于信息增益与高惊奇度 token 重加权的变分目标：

1. 分数信息增益：不再直接最大化 $\log g_\phi(y \mid x, z)$，而是最大化相对基础模型的条件增益 $\log g_\phi(y \mid x, z) - \log p_\theta(y \mid x)$。这迫使 $z$ 必须解释那些基础模型“感到意外”的 token。
2. 动态重构压力：对每个 token $y_t$，按其基础模型惊奇度 $\log p_\theta(y_t \mid y_{<t}, x)$ 进行加权。高惊奇度 token（即基础模型难以预测的 token）获得更高损失权重，从而将 Router 的信息流集中在需要策略引导的位置。
3. 整体目标等价于最大化 $\mathbb{E}{z \sim r\phi(\cdot|x)}\left[\sum_t \omega_t (\log g_\phi(y_t|x,z,y_{<t}) - \log p_\theta(y_t|x,y_{<t}))\right] - \text{KL}(r_\phi(z|x) | \text{prior})$，其中 $\omega_t \propto -\log p_\theta(y_t|x,y_{<t})$ 为惊奇度权重。

输出与应用

训练收敛后，Router 能为任意输入分配离散策略标签，Generator 对应不同策略输出风格各异的推理路径（如在算术题中采用不同分解步骤）。方法在多策略算法任务基准上验证，恢复的潜编码与人工标注的参考策略高度一致，且完整保留了基础模型的原始生成质量。

与同类方法的差异

与标准 conditionally 生成模型（如 CTRL、PPLM）或普通 VAE 不同，该方法直接面向已有强先验的预训练模型，通过惊奇度驱动的信息增益目标克服后验坍塌，而非依赖外部标注数据或人工指定控制码，实现了从发现到条件化的无监督策略解耦。

实验

实验设计

在作者构建的 多策略算法推理任务基准 (multi-strategy algorithmic tasks) 上进行实验，涵盖多种需要不同解题策略的问题。模型基于预训练语言模型 p_θ(y|x)，通过学习一个路由器 r_φ(z|x) 和生成器 g_φ(y|x,z) 将响应分布分解为策略条件化表示。训练采用提出的 分数信息增益变分目标，该目标相对于基础模型的响应损失衡量信息增益，并将重构压力集中在基础模型高困惑度的 token 上，以防止后验坍塌。

关键发现

• 所提变分目标成功恢复了与不同参考策略对齐的潜在编码，表明模型隐式掌握了多种推理策略。
• 策略条件生成器保持了基础模型的整体响应分布，没有牺牲生成质量。
• 在标准变分推断出现严重后验坍塌的情况下，本方法使路由器学会将有用信息通过 z 传递，从而可解释地分离策略。

与基线的深度对比

基线方法（标准变分下界 ELBO 或直接微调路由器）未能激励模型利用潜在变量，导致 z 被忽略（后验坍塌）。相比之下，本文的分数信息增益目标通过如下机制改进了训练：

• 仅对高惊奇度 token 施加重构压力，迫使 z 编码那些基础模型难以预测的策略变化部分。
• 使用相对损失度量，而非绝对重构误差，从而显式量化了 z 带来的信息增加量。 这确保了分解得到的潜在空间与真实解题策略对应，而不只是复述训练数据中的表面模式。

行业影响

落地场景

论文提出的 潜在策略分解方法 可应用于需要深度推理与可解释性的 AI 产品。以 教育科技 为例，智能辅导系统可利用该技术解析学生的解题轨迹，识别其采用的策略（如几何题中的“代数法”或“向量法”），并动态提供个性化提示。在 金融风控 场景，信贷审核模型可显式输出不同风控策略下的决策路径及依据，帮助分析师快速评估多视角风险。 内容平台 的 AIGC 审核模块也能受益：通过分离内容生成中隐含的“安全策略”与“创新策略”，实现更精细的输出控制。

商业价值

这种能力直接对应 降本增效 与 体验升级 两条商业线。

• 降本：无需海量人工标注即可自动发现并验证模型的多种推理路径，减少专家 review 成本。
• 增效：通过显式路由机制，产品可针对同一输入提供多风格、多策略的输出，满足不同用户群的偏好，从而提升用户留存与转化。
• 风险控制：分解出的策略可被审计与监控，便于识别偏见或有害推理模式，降低合规风险，保护品牌声誉。

与现有产品工作流的集成

该方法可作为 插件层 嵌入现有 LLM 推理管道：

1. 在模型服务化部署时，增加一个轻量级 路由器网络 (r_φ(z|x))，对输入实时分配策略标签 z。
2. 将标签 z 作为条件传递给下游生成器，实现策略条件解码，无需重新训练基座模型。
3. 与 模型监控 工具（如人类反馈循环）结合，将潜在策略变化作为告警指标，用于线上模型行为漂移检测。

例如，在代码助手产品中，路由器可识别用户意图是“性能优先”还是“可读性优先”，然后由同一生成器产出对应风格的代码，实现零额外 prompt engineering 的策略切换。这种架构与现有 LLMOps 栈（如 vLLM、LangChain）高度兼容，可通过标准 API 增量交付。

局限

• 方法目前只针对**离散的潜在策略**建模，使用有限个可学习的嵌入表示策略，这无法捕捉**连续变化的推理风格**或策略的**层次化结构**。对于真实世界复杂推理，策略空间可能更丰富，离散瓶颈可能导致信息损失或策略混叠。
• 实验在合成的**多策略算法任务**（如算术、迷宫等）上进行，尚未验证在**开放域文本推理**或**大规模语言模型**（如LLaMA、GPT系列）上的可迁移性。实际应用中推理策略往往与语义知识深度耦合，简单的路由器-生成器架构可能难以分解这种纠缠。
• 所提出的**分数信息增益目标**在训练稳定性和超参数敏感性上可能较脆弱，论文未详细报告**不同随机种子**或**超参数设置下的鲁棒性实验**。从实现上看，该方法需要从基座模型初始化并额外训练，计算成本高于直接使用基座模型，且对基座模型分布保持的严格约束可能限制策略发现的多样性。