蒸馏防御在强化学习后容易被攻破

TL;DR 论文揭示现有蒸馏防御只在蒸馏后评估，攻击者追加强化学习可轻易破解，且简单API采样攻击即可达到复杂效果，提示需转向批量级防御。

问题

问题背景

闭源大模型的推理能力成为竞争焦点，蒸馏攻击通过收集推理轨迹训练复刻模型，引发对知识产权保护的关注。

现有方法局限

现有防御评估通常假设攻击者在蒸馏后立即停止训练，但实际中攻击者可能继续用强化学习（RL） 进一步优化模型。这种威胁模型误设导致对防御效果的误判：部分防御在蒸馏后看似有效，但经过后续 RL 后容易被突破。例如 反蒸馏采样 和响应级防御 仅针对单次蒸馏输出设计，可能泄露足够信息供攻击者重建近似推理轨迹。论文指出，任何泄露足够信息以重建近似推理轨迹的防御，在持续训练假设下都可能失效。

为什么这个问题难/重要

技术挑战在于：LLM 推理轨迹的隐蔽性和 RL 算法的样本效率使攻击者能用简单 API 数据提取推理能力；防御需在信息泄露与模型可用性之间平衡，过度防御会损害正常用户。业界关注度高：模型厂商投入大量资源保护闭源能力，而攻击成本降低使高级推理能力被低成本复制。论文实证表明，简单攻击（仅用当前 API 可获取的数据）能达到与复杂攻击（提取完整隐藏轨迹）相当的推理改进，揭示现有防御评估体系存在根本缺陷。

原作者论断：“A misspecified threat model can give a false sense of security”

行业类比

类似网络安全中零日漏洞评估需考虑攻击者后续利用阶段，AI 安全评估也需纳入持续攻击假设，而非仅测试初始入侵。

核心洞察

• - **威胁模型失配**：现有蒸馏防御评估通常在蒸馏后立即进行，假设攻击者不再训练。但本文指出，更现实的威胁模型包括后续的强化学习（RL）阶段。RL 可以放大初始蒸馏中泄露的信息，使原本看似有效的防御被轻易突破。这揭示了防御评估的一个关键盲区，即仅关注静态的蒸馏结果而忽略攻击者后续的动态优化能力。
• - **简单攻击配合 RL 降低门槛**：论文展示使用当前 API 容易获取的数据进行简单蒸馏，再配合 RL 训练，即可获得与提取完整隐藏推理轨迹的复杂攻击相当的推理能力提升。这表明防御设计不能只关注防止精确复制完整轨迹，任何泄露足够信息以重建近似推理轨迹的防御都可能失效。因此，防御策略需要转向更根本的层面，如批量级防御，以抵御 RL 放大的攻击。

方法

方法框架

输入：闭源模型（受害者）通过 API 返回的推理轨迹（reasoning traces）。攻击者可从当前 API 接口获取完整或部分隐藏的推理过程。

关键模块

1. 蒸馏攻击：攻击者收集大量受害模型输出的推理轨迹，用于训练学生模型，复制其推理能力。论文对比了两种攻击强度：

   • 简单攻击：仅利用 API 返回的最终答案与少量中间推理片段（如摘要或扩展结果），不要求完整隐藏轨迹。
   • 复杂攻击：尝试提取完整的隐藏推理轨迹（full hidden traces）。

2. 强化学习后续训练：在蒸馏得到的模型上继续执行强化学习（RL），模拟真实场景中攻击者可能进行的二次训练。该阶段可以放大简单攻击的效果，使其达到与复杂攻击相当的推理提升。

3. 防御评估：对比以下两种时间点的防御有效性：

   • 蒸馏后立即评估（RL-free）
   • 蒸馏后增加强化学习再评估 论文发现 RL-free 评估可能高估防御能力，因为强化学习可以打破部分防御机制。

输出

评估结果：哪些蒸馏防御在引入强化学习后失效，以及哪些防御（如批量级防御，batch-level defenses）可能保持有效。

与同类方法的差异点：现有工作仅关注蒸馏后的静态防御效果，本工作首次将强化学习纳入攻击者威胁模型，揭示了防御评估的时序漏洞。

实验

实验设计

论文构建了一个更现实的威胁模型：攻击者先通过蒸馏从闭源模型获取推理能力，随后对蒸馏得到的模型继续执行 强化学习（RL） 训练。实验对比了多种 蒸馏防御 在“蒸馏后立即评估”与“再经过 RL 后评估”两种条件下的表现。攻击方法包括 简单攻击（仅使用当前 API 可获取的输出）和 复杂攻击（提取完整隐藏推理轨迹）。防御方法涵盖 响应级防御（如反蒸馏采样）与 批次级防御。评估围绕推理基准展开，具体数据集与指标未在摘要中披露。

关键发现

RL 会显著削弱原本看似有效的蒸馏防御——部分防御在蒸馏后能保持一定安全性，但经过 RL 微调后即被突破。更重要的是，RL 降低了攻击门槛：使用 API 可简单获取数据的攻击，在 RL 后能达到与提取完整隐藏轨迹的复杂攻击相当的推理性能提升。作者由此得出：任何泄漏足量信息以重构近似推理轨迹的防御，在面对 RL 后训练时很可能失效。

与基线对比解读

以往工作均在蒸馏后立即评估防御效果，相当于假设攻击者不再进行任何后续训练。本研究指出这一 威胁模型误设 会导致虚假安全感。RL 作为一种通用的后训练手段，能够放大蒸馏数据中残留的信息，使不完美的防御被逐步击穿。简单攻击与复杂攻击在 RL 后等效这一事实，说明防御必须从信息论层面阻止轨迹重构，而非仅扰动输出分布。作者据此提出 批次级防御 可能更具前景，因其可限制跨样本信息泄漏。

行业影响

落地场景

模型 API 提供商(如 OpenAI、Anthropic、Google)与自建大模型服务的企业,需重新评估 蒸馏防御 在 强化学习(RL) 后训练下的鲁棒性。安全团队可将论文提出的 批量级防御 纳入 API 网关、LLM 防火墙和日志监控系统,实时识别异常查询模式。

商业价值

防御失效会导致模型推理能力被低成本复制,直接冲击 API 订阅与授权收入。引入 RL 后评估流程可避免虚假安全感,减少盗版带来的市场份额流失;同时提升客户信任,降低因数据泄露引发的法律与合规成本。

与现有产品/工作流接口

现有安全栈(SIEM、数据流水线、模型服务网关)可增加一个 RL 后蒸馏攻击评估模块 对每次更新后的防御策略做持续测试。批量级检测可部署在模型输出的聚合层,例如将多个请求的响应打包分析,避免对单次查询开销过大。

具体 use case:

1. 内容平台: 新闻聚合或社交媒体公司使用闭源推理模型生成个性化内容摘要与推荐理由。攻击者可发起 蒸馏攻击 复制该能力,平台需在响应中加入扰动并监测批量请求的分布异常。
2. 教育科技: 智能辅导系统依赖闭源模型的逐步解题推理,竞争对手可能蒸馏模型以提供相似服务。企业可在 API 响应中引入可追溯的批量水印,结合 RL 后攻击模拟验证防御强度。

局限

• 论文主要验证了数学推理场景下的攻击效果，实验基于 **MATH** 和 **AIME** 等数据集（原文表 1 所列），对其他复杂推理类型（如代码生成、科学问答、多步工具调用）的覆盖不足。作者在讨论中承认，批级蒸馏防御仅提出概念性方向，没有给出具体实现或评估，因此结论对实际防御策略的指导有限。此外，实验所用闭源模型及 API 数据获取条件可能随时间变化，本文的攻击有效性依赖于当前 API 对部分隐藏推理的泄露程度，这一前提在未来可能不再成立。
• 文中对攻击者的资源约束考虑不充分。虽然声称简单攻击即可窃取能力，但实验中的 RL 后训练使用了与蒸馏相当的计算资源，且攻击者需要绕过或适应 API 提供方的速率限制与访问控制。实际攻防博弈中，这些操作成本和检测风险可能显著改变攻击可行性，而论文未纳入讨论。另外，仅比较了 RL 后训练对攻击效果的增强，没有分析防御方在检测到蒸馏攻击后是否可以动态调整策略（如自适应防御），导致威胁模型仍偏静态。
• 与现有蒸馏防御工作的系统性对比不足。论文选取了若干代表性防御（如 **antidistillation sampling**、响应级扰动等），但没有涵盖最新提出的强防御机制，例如基于可验证推理或模型指纹的检测方法。这可能使得“任何泄露足够信息的蒸馏防御都无效”的结论过于宽泛。此外，关于 RL 如何具体瓦解防御的机制分析主要放在附录 A.4，正文缺乏形式化解释，且未与对抗性训练、差分隐私等经典防御的交互进行深入比较，削弱了结论的理论深度。