双管齐下：面向LLM上下文完整性的互补自蒸馏

TL;DR SELFCI 通过互补自蒸馏解耦信息抑制与任务解决，无需外部监督，显著提升 LLM 上下文完整性与效用的平衡，优于在线 RL 等基线。

问题

问题背景

随着大语言模型（LLM）被用作个人智能代理，处理邮件、日程、健康咨询等敏感工作流，上下文完整性（Contextual Integrity, CI） 成为隐私保护的核心准则。CI 要求模型根据具体情境（如对话对象、社会规范）动态控制信息流，而非简单隐藏所有数据。

现有方法局限

当前提升 CI 对齐的主流方案存在明显不足：

• 提示工程（Prompting）：易被越狱攻击绕过，泛化性差，难以覆盖复杂场景。
• 在线强化学习（Online RL，如 GRPO）：计算成本高、样本效率低，且过度优化隐私目标常导致过度抑制，严重损害任务性能。
• 外部教师蒸馏：依赖昂贵的人工标注或专用模型监督，无法规模化，且教师分布固定，适应性受限。 这些方法的共同缺陷是将信息抑制与任务求解耦合优化，迫使模型在“有用”和“安全”之间做零和取舍。

技术挑战与重要性

CI 对齐的真正难点在于：隐私判断高度依赖上下文，模型必须在可用信息与不可披露信息之间实现细粒度解耦，而非简单的二值决策。同时，业界对 LLM 代理处理敏感工作流的需求激增，隐私泄露会引发信任危机，而过度保守又会令助手失去实用性。如何在不依赖外部监督的前提下，稳定地兼顾效用与语境化隐私，是工程落地的关键瓶颈。

行业类比

这类似于一个智能办公助理在跨公司会议协调中，需根据参会者身份决定共享哪些日程细节——既要成功安排会议，又要防止敏感行程外泄，本质上是在多约束下寻找最优信息流策略。

核心洞察

• **将隐私-效用权衡解耦为两个独立的反向KL优化，并自然诱导出Product-of-Experts (PoE)目标**。与在线RL方法（如GRPO）直接优化混合奖励不同，SELFCI 通过从互补教师分布中分别蒸馏“保持任务信息”和“最小适当披露”的能力，使策略收敛到两者的交集，从机制上避免了一方目标主导另一方，实现了更稳定的CI对齐。这种设计突破了现有方法中隐私与效用强耦合的局限。
• **完全基于模型自我生成反馈的自蒸馏，摆脱了对外部监督的依赖，且能泛化到累积隐私上下文的智能体工作流**。SELFCI 利用模型自身对任务解决和隐私违规的反馈构建互补教师，无需代价高昂的人工标注或规则工程。在代理任务和多轮私有上下文场景下的实验表明，该方法不仅节省成本，还在分布外设置中保持CI有效性，相比依赖固定专家或静态规则的方法更具工程实用性。

方法

核心思想

SELFCI 将隐私保护（信息抑制）与任务效用（信息保留）解耦，通过自蒸馏联合优化两个互补的教师分布，最终让策略模型收敛到二者的 专家乘积（Product-of-Experts, PoE） 交集上，以此实现上下文完整性（CI）对齐。

工作流程

1. 输入：用户查询、待处理上下文（可能含私密信息）、CI 规范。
2. 反馈生成：模型对查询生成初始响应，随后根据 CI 约束评估该响应是否“过度披露”私密信息或“抑制过度”损害任务完成度，形成二元反馈（正向/负向）。
3. 互补教师构建：
   • 效用教师：基于正向任务反馈，构建一个蒸馏目标分布，鼓励模型在回答中保留任务关键信息，最大化任务成功率。
   • 隐私教师：基于负向隐私反馈，构建另一个分布，迫使模型最小化私密信息泄露，仅允许“适当”的披露。
   • 两个教师分布独立设计，分别由反向 KL 散度驱动，避免相互干扰。
4. 自蒸馏优化：策略模型同时最小化与两个教师分布的反向 KL 散度：KL(π || p_util) 和 KL(π || p_priv)，并通过系数 λ 调节两者权衡。该联合优化在理论上等价于让策略 π 逼近 p_util · p_priv 的归一化乘积（PoE），自然促使模型只生成既包含必要任务信息又满足隐私规范的回答。
5. 输出：经训练的策略模型在推理时能自主判断是否披露以及披露到何种程度，无需外部裁判。

关键设计

• 无需外部监督：反馈完全由模型自身生成，不依赖昂贵的人工标注或奖励模型，实现纯自蒸馏。
• 反直觉的互补客观：两个教师目标看似矛盾，但通过 PoE 结合，模型并非简单折中，而是学会在“不能说”和“必须说”之间找到精确边界。
• 支持在线迭代：反馈与教师分布可根据策略的当前状态动态更新，类似在线强化学习，但避免了环境奖励的稀疏性问题。

与同类方法的差异

相比 GRPO 等在线 RL 算法，SELFCI 不需要设计复杂的奖励函数，直接优化策略分布；与 外部教师蒸馏 相比，SELFCI 完全依赖模型内部信号，在跨域泛化（如智能体工作流、累积隐私上下文）上表现更稳定。

实验

实验设计

• 评估数据集：CI-RL、PrivacyLens、CIMemories，覆盖信息流规范决策、隐私泄露样例及累积隐私上下文场景。
• 对比基线：在线 RL 算法（如 GRPO）、外部教师蒸馏方法（ContextDistill）、无约束微调策略。
• 核心指标：任务效用（准确率、F1）和隐私泄露率，通过隐私-效用曲线衡量 Pareto 改进。

关键发现

1. SelfCI 在隐私-效用权衡上一致领先：在所有数据集上，它在抑制不必要披露的同时保持任务性能，打破了以往方法“保护隐私即牺牲效用”的单调关系。
2. 在线 RL 的脆弱性：GRPO 等 RL 算法需要大量在线交互，且对奖励塑造高度敏感，在复杂隐私情境下出现策略崩溃或收敛困难，揭示了纯 RL 的落地瓶颈。
3. 外部教师蒸馏的局限：依赖静态规则库或人工反馈的 ContextDistill 泛化能力不足，面对未见的上下文规范时，知识迁移会丢失任务关键信息。
4. 泛化能力：在 Agentic 工作流和 CIMemories 累积隐私上下文的 OOD 测试中，SelfCI 依然显著优于基线，说明其解耦机制能适应动态变化的 norms。
5. 反馈与分解的核心作用：消融实验证实，自生成反馈驱动的互补教师分解——一个教师专注任务信息保留，另一个教师专注最小化披露——是避免灾难性遗忘与过度抑制的关键。

基线对比深度解读

• 与 GRPO 对比：SelfCI 无需环境模拟或在线采样，训练更稳定、算力更省，适合离线大规模微调，规避了 RL 的交互成本与不稳定因素。
• 与 ContextDistill 对比：自我反馈合成取代了昂贵的外部标注；Product-of-Experts 目标能软性融合能力与隐私需求，而非硬性过滤，从而在复杂权衡中获得更好的折衷点。
• 工程启示：该框架为隐私敏感的 LLM 部署提供了即插即用的对齐方案——可在 SFT 之后直接应用，不依赖额外监督信号或基础设施，对构建可信个人代理具有直接实用价值。

行业影响

落地场景

SELFCI 直接适用于需要 LLM 代理处理敏感个人数据 的场景：

• 个人 AI 助手：邮件总结、日程管理、文档起草，需区分公开与私密信息。
• 企业服务：内部知识库问答、HR 对话，防止无关部门信息泄露。
• 医疗与金融顾问：对话中需遵循 情境完整性（CI） 规范，仅披露必要的健康/财务信息。
• 内容审核与生成：确保用户生成内容（UGC）平台在自动化处理时保护用户隐私。

商业价值

• 降低合规风险：无需外部监管信号即可使模型符合 CI 要求，减轻人工审核成本与隐私泄露导致的罚款/声誉损失。
• 提升用户信任与留存：在保证任务性能（如任务完成率）的同时有效抑制不当披露，避免因过度过滤导致用户体验下降。
• 节省标注成本：基于 自我蒸馏，无需昂贵的人工监督或领域专家标注，仅通过模型自身生成的反馈进行优化，显著降低数据成本。

与现有工作流集成

• 训练阶段即插即用：可作为现有 LLM 微调管线 的后处理对齐步骤，在 SFT 或 RLHF 后使用 SELFCI 目标进行蒸馏，无需改动推理架构。
• 反馈生成自动化：利用伪拒绝采样和任务级信号构造互补教师分布，无需额外模型服务（如奖励模型），易于集成到 MLOps 流程。
• 兼容主流框架：代码以 PyTorch 实现，可对接 Hugging Face 生态；支持批处理与梯度累积，适合大规模模型训练。

具体用例

1. 金融投顾对话：智能助手在讨论投资组合时，能主动屏蔽客户名下列出的其他账户余额，仅输出当前咨询所需资产信息，同时保持分析准确性。实验表明 SELFCI 在 PrivacyLens 基准上较 GRPO 有更低泄露率，且任务成功率更高。
2. 企业级客服 Agent：处理跨部门工单时，Agent 自动根据请求者角色过滤日志中的敏感字段（如员工薪酬），并整合相关 SOP 给出操作建议，避免信息越权。SELFCI 对累积上下文的鲁棒性使其在长对话中稳定维持 CI 约束。

局限

• **反馈生成与教师构建的依赖性**：SELFCI 的性能上限受限于初始策略生成反馈的质量。若模型在隐私判断或任务应答上存在系统性偏差，自蒸馏会固化这些偏差，导致隐私保护和任务效用的下降。此外，平衡两个反向 KL 目标的系数 λ 需针对任务调整，不当设置可能导致优化偏向一方，削弱互补性优势。
• **实验场景的覆盖面与规模**：评估仅在 CI-RL、PrivacyLens 和 CIMemories 三个数据集上进行，虽然包含外域智能体任务，但真实世界的隐私规范更加复杂多变，方法的稳健性有待进一步检验。论文未探索更大参数规模模型（如 70B+）上的效果，这限制了其在大规模部署时的参考价值。
• **互补目标假设的脆弱性**：方法假设任务相关信息保留与最小披露可以通过独立教师解耦，但在某些任务中，完成任务不可避免地需要访问敏感上下文，强行分离可能导致 PoE 目标无法收敛或严重损害任务性能。此时，两个教师的优化方向可能产生对抗，反而增加训练不稳定性。