无需推理轨迹训练 Specialist 模型以实现领域专家蒸馏

TL;DR 本文证明，专家模型仅用问答对训练时，隐式选择的推理轨迹分布会系统传递给蒸馏学生，并可通过控制分布漂移实现领域精度与通用能力的可控权衡。

问题

问题背景

专家蒸馏（specialist distillation）已成为将大规模通用模型能力压缩到领域专用小模型的主流路线，核心依赖教师模型生成详细的推理轨迹作为监督信号，以传递领域专长。

现有方法局限

现有 specialist 训练通常假设能获得高质量的推理轨迹，或通过额外数据合成轨迹进行监督。但在大量真实场景中，领域数据只包含 question-answer pairs，缺乏显式 reasoning supervision。此时，specialist 面对 QA-only 目标存在无限多种可能的 latent trajectory distribution 都能拟合问答数据，优化过程会隐式地选择其中一种。这一选择过程不可控、不可解释，导致：

• 蒸馏出的 student 模型在领域精度与通用能力保留之间的 trade-off 呈现随机漂移；
• 不同 QA-only 训练方法（如 SFT、DPO、KTO 等）会诱导出迥异的隐式轨迹分布，但缺乏系统性的控制手段；
• 难以预测或复现 downstream distillation 的效果，使得蒸馏数据质量不可控。

为什么这个问题难/重要

从 QA-only 监督到轨迹学习是一个 underdetermined 问题：多个轨迹分布可能对应相同 QA 精度，却导致截然不同的下游蒸馏行为。该问题涉及 LLM 内部 latent reasoning 的隐式正则化机制，难以直接观测和干预。

业界关注度来自实际需求：真实业务中大量领域数据没有思维链标注，若能控制 specialist 的隐式轨迹选择，就能在不增加标注成本的前提下系统性地调节蒸馏数据特性，使 teacher 可预测地产出期望的 student 行为。本文通过蒸馏作为“agnostic probe”首次量化了这种 latent distribution 对下游模型的影响，并展示了显式控制 distributional drift 可沿可控 trade-off 移动。

行业类比

类似企业内部仅用客服问答日志微调领域模型时，缺少中间推理步骤；若不能控制模型隐式生成的推理风格，蒸馏出的轻量模型可能在专业任务上过拟合而丢失通用对话能力。

核心洞察

• - 专家训练策略的隐式选择决定了蒸馏数据的 trajectory 分布。在没有显式推理监督时，QA-only 优化会从多个有效轨迹分布中隐式选择一个，而不同的专家微调策略（如 LoRA 配置、KL 约束）对应不同的选择。这解释了为何单纯更换蒸馏数据生成方式可能无效——上游专家的训练设定才是需要控制的核心变量，与以往仅关注 rationale 质量或 teacher 模型规模的工作形成对比。
• - 学生蒸馏可以作为一种无偏探针来观测专家的隐式轨迹分布。由于学生仅继承采样轨迹而不继承专家的参数化或优化约束，学生表现能够反映专家在 specialization-generalization 谱系上的真实位置。这种 probe 用法将蒸馏从下游应用提升为分析工具，为研究 LLM 隐式学习动态提供了新方法，实验在化学、物理、多语言三种领域验证了跨模型家族的强相关性。

方法

方法详解：从 QA-only 专家训练到隐式轨迹分布控制

输入：领域相关的 question–answer 对（无推理轨迹标注），例如化学 SMolInstruct、物理 MegaScience、低资源多语言 OPUS 数据。

关键模块：

1. 专家模型 QA-only 微调：在无 CoT 监督下，仅用问答对训练专家模型。不同微调策略（如标准 SFT、带 KL 约束的 SFT）会隐式诱导专家在生成时选择不同的隐式轨迹分布——尽管目标和优化空间看似相同，但优化路径和正则化项决定了最终选择的轨迹模式。

2. 学生蒸馏作为探针：将学生模型视为一个 agnostic probe，不继承专家的参数或优化约束，仅继承专家生成的轨迹样本。通过对学生进行蒸馏训练，可以“观测”专家隐式学到的轨迹分布（因为学生只从轨迹中学习，不受专家内部状态影响）。

3. 分布漂移的量化和控制：引入 KL 散度约束（ASFT，即 Anchor SFT）显式控制专家模型在微调过程中的分布漂移。通过调整 KL 锚点强度，可以在 domain precision（领域精度）和 general-capability retention（通用能力保留）之间连续调节专家的隐式轨迹分布。

输出：一系列具有不同 specialization–generalization 权衡的专家模型及其对应的蒸馏学生模型。实验覆盖化学、物理、多语言三个领域，27 个专家–学生配对，验证了学生稳定继承专家的权衡曲线。

与同类方法的差异点：以往工作将学生蒸馏视为下游应用，而本研究反转视角，将学生蒸馏作为观测专家隐式轨迹分布的探针，从而揭示了 QA-only 训练中优化选择如何决定下游蒸馏数据的性质。

实验

实验设计

• 构建 27 组 specialist–student pairings，覆盖化学（SMolInstruct）、物理（MegaScience）与低资源多语言（OPUS）三个领域。
• 采用 QA-only 监督训练多个 specialist，再将其生成的推理轨迹用于蒸馏 student；蒸馏过程被当作 agnostic probe 来观测 latent trajectory distribution。
• 通过显式 KL 约束（如 ASFT）与结构约束控制 specialist 的 distributional drift，系统考察 domain precision 与 general-capability retention 的权衡。

关键发现

• Specialist 优化从欠定的 trajectory space 中隐式选择特定分布，该选择可持续传递给 distilled student，在不同模型家族间也保持高度相关（exceptionally strong correlation）。
• 不同 QA-only 监督方法诱导出不同的 trajectory distribution，导致 distinct specialization-generalization profiles。
• 显式 KL drift 控制（ASFT）可使教师与学生沿可控 trade-off 移动；结构约束提升答案预测准确率且不破坏推理轨迹完整性。
• 数据缩放带来连续的 in-task 增益，同时保持鲁棒性。

与基线对比

• 相比显式提供推理轨迹的蒸馏基线，QA-only specialist 无需 gold reasoning 即可产生有效轨迹，但轨迹质量直接受 tuning choices 控制。
• 不同 QA-only 策略间的差异精细映射到下游 student 的 trade-off，表明 specialist 训练本身就是蒸馏数据的关键设计变量，而非仅作为固定教师使用。

行业影响

落地场景

QA-only 专家蒸馏适合高价值垂直领域的模型定制，例如医疗辅助诊断、法律合同审查、金融合规分析、电商智能客服等。这些场景通常只有领域问答对，缺乏逐条人工推理轨迹，而本文方法证明：即使没有显式推理监督，专家优化也会隐式选择潜在的推理分布，并通过蒸馏稳定迁移到学生模型。

商业价值

• 降本：省去昂贵的人工 CoT 标注，仅用 QA 对即可训练专家并蒸馏，显著减少数据准备成本。
• 增收/体验提升：蒸馏后的小模型在领域任务上精度接近大模型，同时可控制通用能力保留，避免过度专业化导致的对话质量下降；部署成本（算力、延迟）大幅降低，适合边缘或高频调用场景。
• 可控性：通过显式调节 KL 漂移（如 ASFT），可以在领域精度与通用能力之间按需权衡，为产品策略提供“旋钮”。

与现有工作流的接口

该方法可无缝嵌入现有 LLM 训练栈：

• 在微调阶段用 LoRA 等 PEFT 训练专家，无需改动模型架构。
• 在蒸馏阶段使用常规的 teacher-student 蒸馏框架，学生模型仅继承采样轨迹，无参数化约束，因此可跨模型家族（如 Qwen → Llama）。
• 可集成到数据合成/筛选管线：通过监控并控制专家训练中的分布漂移（KL drift），直接调节下游蒸馏数据的特性。

具体 Use Case

1. 电商智能客服：用商品/售后领域的 QA 对训练专家，再蒸馏到 7B 级小模型。在回答“退换货政策”“物流异常处理”等专业问题时准确率提升，同时保持日常闲聊能力，降低人工客服转接率。
2. 金融机构合规助手：基于法规条文和案例 QA 训练专家，蒸馏后嵌入内部审批流程。小模型可快速判断合同条款是否违规，且通过控制泛化保留，仍能处理非法规类的通用查询。

原文核心论断：“When gold reasoning is absent, tuning choices directly control the latent supervision passed to downstream models.” 这意味着企业可以在不标注推理过程的情况下，通过调整训练配置来塑造最终模型的决策边界。

局限

• 论文主要依赖实证观察而非理论推导：作者通过 27 个专家-学生对展示了蒸馏学生与专家在 specialization-generalization profile 上的相关性，但并未从优化动力学角度证明为何隐式轨迹选择会发生，也未给出选择性机制的理论界定。缺乏形式化解释使得结论的普适性存疑，尤其面对不同损失函数、数据分布或优化器时，隐式选择行为可能不同。
• 实验覆盖领域和模型家族有限：论文仅在化学、物理、低资源多语三个领域验证，且主要使用 Qwen 系列（如 Qwen2.5-7B/14B）作为基础模型，未涉及更大规模模型（>70B）或不同架构（如非自回归模型）。对于产业界常见的大模型蒸馏场景，结论是否成立需要更多证据。此外，27 对专家-学生对虽然支持统计相关性，但每个领域内的任务类型和难度差异较大，可能影响 profile 度量的稳定性。
• 论文提出的 ASFT（显式 KL 锚定）虽然能控制分布漂移，但引入了额外超参数（KL 权重），实际调参成本较高；并且作者未系统探索该超参数在跨任务上的敏感性，也未与其他正则化方法（如权重衰减、早停）进行公平对比，因此其工程实用性有待进一步验证。