Hybrid-Policy Self-Editing：面向可组合非结构化知识编辑

TL;DR HPSE 通过混合策略自蒸馏，在模型自身生成轨迹中精准插入缺失事实，让非结构化知识编辑后的 LLM 能组合多跳推理，且无需外部监督。

问题

问题背景

知识编辑(KE)正从结构化三元组转向非结构化知识编辑(UKE),目标是让 LLM 在不影响无关知识的前提下,吸收自由文本段落并支撑后续查询与推理。

现有方法局限

现有 UKE 编辑器通常将段落作为唯一学习源,以被动方式注入参数或表示:

• 能复述,不能调用:编辑后的模型可以召回段落,但回答原子性问题时准确率低;
• 无法组合推理:将多个事实组合成多跳推理链的能力缺失,即缺少 composability;
• 仅依赖固定段落导致模型对新颖知识覆盖不足,预编辑模型自身 rollout 很难包含新事实,纯 on-policy 蒸馏效果受限。

为什么难且重要

UKE 中注入的知识具有新颖性,模型自身轨迹无法覆盖,外部监督又不可得;同时要保证局部性与一致性。业界关注在于:真实知识库更新频繁、知识以文档形式出现,若编辑后模型不能灵活使用新内容,更新价值大打折扣。这本质上是持续学习与推理泛化的交汇问题。

行业类比

类似 RAG 系统中检索到最新文档却无法在下游问答中正确利用,HPSE 解决的是“注入 ≠ 可用”的关键缺口。

核心洞察

• HPSE 将知识编辑从被动参数注入重构为主动**自蒸馏**：编辑过程不再只是把段落编码进模型权重，而是让学生模型模仿同一模型在特权上下文下的推理轨迹。与 ROME/MEMIT 等结构化编辑方法不同，HPSE 直接处理非结构化文本，不预设三元组；与直接微调相比，自蒸馏不需要外部监督，且能保持模型泛化。这一视角揭示了编辑的本质——让模型学会使用新知识，而非仅存储。
• **混合 rollout** 策略针对新知识导致的采样覆盖不足：由于被编辑事实对原模型是全新的，纯 on-policy 蒸馏几乎无法采样到包含这些事实的轨迹，导致蒸馏失效。HPSE 在模型自身 rollouts 的失败位置精确插入缺失事实，其余部分保持 on-policy，实现有原则的混合。理论分析证明其优于纯 on-policy 蒸馏，实验表明该插件可显著提升多种编辑器的组合推理能力。

方法

输入与整体思路

HPSE 针对非结构化知识编辑（UKE），输入为一段自由形式的编辑 passage（可能包含多个事实），以及预编辑 LLM 和编辑后的 LLM（学生模型）。核心目标：让编辑后的模型不仅能复述 passage，还能回答原子事实问题，并将其组合进行多跳推理（composability）。

关键模块

1. 特权教师状态
   将编辑 passage 直接放入同一 LLM 的上下文窗口，使其成为具备完整组合推理能力的特权教师（privileged in-context state）。该教师无需外部监督，仅利用模型自身的上下文学习能力。

2. 主动自蒸馏
   将编辑过程视为从特权教师到学生模型的自蒸馏：学生模仿教师对原子问题与多跳问题的输出分布。目标函数通常为 KL 散度或交叉熵，但训练数据并非来自预编辑模型的自然 rollout。

3. 混合 rollout 生成
   由于注入知识的新颖性，预编辑模型自身的 rollout 很少覆盖新事实，纯 on-policy 蒸馏效果有限。HPSE 构建混合 rollout：在生成轨迹中检测到学生遗漏事实的位置，插入教师给出的正确事实；其余部分保持学生自身采样（on-policy）。这一过程相当于在学生的推理路径上精准“补丁”，既避免完全依赖教师导致分布偏移，又确保关键事实被覆盖。

4. 训练与推理
   基于混合 rollout 的轨迹进行参数更新，使编辑后模型逐渐内化新知识并学会组合推理。推理时，模型可直接回答原子问题并完成多跳推理。

输出与差异点

输出为具备 composability 的编辑后 LLM，可插拔应用于不同 LLM 骨干和 KE 编辑器。与被动注入固定 passage 的现有编辑器、以及纯 on-policy 自蒸馏方法不同，HPSE 通过混合策略主动构造覆盖缺失事实的轨迹，在不引入外部监督的前提下显著提升非结构化编辑的组合推理能力。

实验

实验设计

作者在 四种 LLM 骨干 和 两种现有 KE 编辑器 上验证 HPSE，覆盖单次编辑、持续编辑、消融实验和案例研究。编辑场景为非结构化知识编辑，评估指标包括原子问答准确率和多跳组合推理能力。HPSE 以即插即用方式接入现有编辑器，不修改原模型参数。

关键发现

• HPSE 提升组合性：通过混合 rollout 将缺失事实插入学生自身轨迹，显著改善多跳推理，解决现有编辑器“能复述但不会用”的问题。
• 无需外部监督：从同一模型的上下文特权状态进行自蒸馏，保持监督信号内部化。
• 持续编辑稳定：在多次编辑序列下表现稳定，未观察到明显遗忘。

与基线对比

对比纯在线策略蒸馏，HPSE 针对新知识覆盖率不足的核心缺陷，在轨迹缺失处精准介入，其余位置保持 on-policy。这带来明确的工程启示：知识编辑不应仅依赖固定段落作为唯一学习源，可设计自适应混合采样策略，在不增加外部标注的前提下实现可组合推理。与同类工作的差异在于，HPSE 将编辑视为主动自蒸馏过程，而非被动注入，从而解锁了多跳组合能力。

行业影响

落地场景

HPSE 针对 非结构化知识编辑（UKE）的组合推理缺陷，适用于需快速修正模型事实知识且支持多跳推理的生产系统。例如：

• 智能客服/企业知识库：实时更新政策、产品参数，并回答需要组合多条事实的查询。
• 内容平台的事实核查与推荐：对突发新闻或更正信息进行定向编辑，避免重新训练。
• 医疗/金融合规问答：更新监管规则、药物相互作用等，要求严格的一致性和组合推理。

商业价值

• 降低模型维护成本：避免全量微调，编辑成本可下降一个数量级；插件式改进可复用现有编辑器，无需重新开发。
• 提升用户体验与信任：使编辑后的模型不仅能复述编辑段落，还能正确回答原子问题和多跳问题，减少事实错误，增强用户对 AI 系统的信赖。
• 加速知识上线：从数据变更到模型生效的延迟大幅缩短，支持分钟级更新。

与现有工作流的接口

HPSE 作为 即插即用 模块，可直接嵌入现有 KE 流程：

1. 在已有 UKE 编辑器（如 ROME、MEMIT 等）输出基础上，增加混合 rollout 蒸馏阶段。
2. 无需外部标注数据，仅利用模型自身的 in-context 状态，对运维友好。
3. 可集成到 RAG 或知识库刷新管道 中，作为编辑后处理步骤，提升组合推理能力。

实际部署时，可将 HPSE 封装为独立微服务，接收编辑请求与模型快照，输出强化后的模型权重或适配器。

具体 use case：某全球电商平台更新产品退货政策（多条款），使用 HPSE 编辑后，客服机器人能够回答“购买后 30 天内退货是否需保留原包装？”这类需要组合两条以上政策条款的问题；某在线教育平台更新课程先修要求与认证规则，学生询问资格时能进行多跳推断，而非简单复述规则文本。

局限

• - **特权上下文依赖与计算开销**：HPSE 需要从同一模型的“特权上下文状态”进行自蒸馏，虽无外部监督，但构造该状态可能依赖精心设计的 prompt（例如将新知识置于上下文并引导模型生成推理链），实际部署时对不同编辑内容可能需额外适配。此外，混合 rollout 需要检测模型自身轨迹中知识覆盖失败的位置，这一检测机制（可能基于事实匹配或启发式规则）的鲁棒性未充分论证，可能成为新瓶颈。论文可能已在实验中使用特定提示模板，但不同领域知识（如医学、法律）下模板泛化性存疑。
• - **评估范围有限**：实验仅在四个 LLM backbone 和两个 KE editor 上验证，虽声称 plug-and-play，但未与所有主流无结构知识编辑方法（如基于外部记忆的编辑器）进行全面对比。此外，基准测试侧重多跳推理和原子问答，可能未充分覆盖真实知识更新中的时间冲突、长尾实体、跨语言编辑等场景。理论上分析依赖的假设（如 on-policy 蒸馏损失的性质）可能在复杂解码策略下失效，实际增益取决于超参数（如混合比例）的精细调节，论文中的敏感性分析可能有限。