重新思考自进化LLM代理的持续经验内化

TL;DR 发现多轮经验内化会引发能力崩溃，通过原则级经验、逐步注入和脱策蒸馏三个维度，提出稳定持续的LLM代理自我进化方案。

问题

问题背景

大语言模型（LLM）代理通过经验内化（experience internalization）将过去交互的上下文经验转化为可复用的参数能力，是实现持续学习和自我进化的关键路径。当前研究多聚焦于单次经验迁移，即从一次交互轨迹中提炼知识更新模型。

现有方法局限

现有方法在多迭代经验学习中暴露严重缺陷：

• 能力崩塌：逐轮迭代后模型性能不升反降，与期望的复合提升相悖。
• 经验退化：依赖实例级经验（instance-level）而非原则级经验（principle-level），对轨迹特化细节过拟合，缺乏可迁移的策略抽象。
• 注入时机不当：全局注入（global injection）将经验与完整序列绑定，与中间决策状态不对齐，妨害长程工具使用。
• 训练信号不稳定：以在线策略蒸馏（on-policy distillation）为主的方法，受限于学生在自身生成的有缺陷状态上进行局部校正，导致监督信号噪声大、分布漂移。

为什么这个问题难且重要

多步工具交互环境中，LLM 代理的轨迹分布随策略更新不断变化，形成分布偏移-误差累积-策略崩溃的恶性循环。单纯套用单次迁移范式，无法应对持续学习中经验损毁和灾难性遗忘的叠加效应。业界对自进化代理的需求日益迫切，但缺乏稳定、可扩展的内化机制成为工程化落地的核心瓶颈，直接影响智能体在动态环境中的长期适应能力。

行业类比

类似自动驾驶的模仿学习困境：如果只从专家示范轨迹中学习逐帧操作，而不提炼跟车距离、让行优先级等抽象驾驶原则，模型遇到分布外场景将迅速失效，每轮数据收集都会稀释原有能力。

核心洞察

• 多迭代经验内化中的能力崩溃现象：以往工作仅验证单次经验转移的效果，本工作首次揭示在持续多轮经验学习下，LLM 代理不仅不会持续提升，反而出现能力逐渐退化。这一发现挑战了「更多经验＝更强性能」的直觉，指出持续学习场景下的隐式灾难性遗忘与错误累积，为后续自进化系统设计提供了关键风险预警。
• 经验粒度的抽象层次决定持续学习耐久性：作者区分实例级和原则级经验，证明原则级经验（抽取可迁移策略，剥离轨迹细节）在多次迭代后仍保持性能，而实例级经验快速退化。这重新定义了经验内化的信息瓶颈——不是保留更多交互细节，而是提炼最小化、高泛化策略单元，对构建长期记忆和知识压缩机制有直接工程指导意义。
• 逐步注入与决策状态对齐是长程工具使用的关键：与全局上下文注入不同，逐步注入在每步决策点提供针对性经验，使模型学会在合适时机调用合适工具。该洞察深化了对 LLM 代理中“状态-经验”耦合机制的理解，并解释了现有长程任务中经验利用低效的根源，为工具增强型代理的训练范式提供了可复现的改进思路。

方法

方法核心：三维修正持续经验内化

论文针对多轮迭代中经验学习出现的能力崩溃 问题，提出一种面向自进化 LLM Agent 的持续经验内化方案。整体流程为：轨迹收集 → 经验提炼 → 注入训练 → 迭代自进化，关键设计围绕经验粒度、注入模式与内化策略三个维度展开。

输入：Agent 在交互环境中执行任务（如工具调用）产生的原始轨迹，包含动作、观察和结果。输出：经过内化的模型参数，可泛化到新任务并持续累积能力。

1. 经验粒度：原则级 vs. 实例级

原始轨迹细节丰富但噪声大，直接使用实例级经验（完整对话片段）会导致模型过拟合具体案例，在多代迭代中迅速退化。方法采用 原则级经验（principle-level）：通过 LLM 自动提取轨迹中的通用策略与抽象规则（如“先查文档再调用 API”），剔除特定参数和序号，确保经验的可迁移性与抗遗忘性。

2. 经验注入模式：逐步 vs. 全局

传统方法将经验摘要一次性注入 prompt 开头（全局注入），但在长 horizon 任务中，Agent 在中间决策阶段容易忽略早期注入的信息。本方法采用逐步注入（step-wise injection）：在每个工具调用或推理步骤前，将当前步最相关的经验片段插入上下文，使模型在决策时刻直接得到指引。实验证明，这种对齐可显著提升长期任务稳定性。

3. 内化策略：离线策略 vs. 在线策略

若直接使用 Agent 自身生成的轨迹（在线策略蒸馏）训练，学生模型产生的错误状态会污染训练信号。方法改用离线策略上下文蒸馏（off-policy context-distillation）：以高质量 Teacher 轨迹（如人类或成熟模型生成）为数据源，将经验嵌入上下文后进行蒸馏。这种监督更纯净，避免误差累积，在多轮迭代中保持稳定。

4. 训练流程

• 轨迹收集：执行任务并记录 Teacher 轨迹。
• 经验提取与选择：LLM 提炼原则级经验，按相关性排序并分配到各步。
• 蒸馏训练：将逐步注入经验的 Teacher 轨迹作为训练数据，利用 KL 散度等损失函数监督学生模型，冻结部分参数优化。（如 LoRA）
• 迭代自进化：用新模型生成更优轨迹，重新提取经验，循环往复，实现持续进化。

与同类工作的差异：此前研究侧重单轮经验迁移，忽略多轮迭代中的退化现象；本工作首次系统诊断三类失败机理，并以三维修正给出简单鲁棒的工程化配方，无需复杂架构即可支撑长程持续学习。

实验

实验设计

本研究系统考察了持续经验内化中导致能力坍塌的三个维度。实验环境基于工具调用任务，构建了包含多轮交互的经验池，并通过迭代蒸馏逐步将经验注入LLM。我们分别控制经验粒度（实例级 vs 原则级）、注入模式（全局注入 vs 分步注入）和内化制度（On-policy Context Distillation vs Off-policy Context Distillation），在单轮与多轮内化设定下评估模型在工具使用基准上的表现。

关键发现

1. 经验粒度：原则级经验抽象出通用策略，在多轮迭代中保持稳定，而实例级经验导致模型过拟合具体轨迹，性能持续下降。
2. 注入模式：分步注入将经验信号与中间决策状态对齐，显著优于仅在最终状态注入全局经验的范式，尤其在需要长程规划的工具使用场景中优势明显。
3. 内化制度：Off-policy 蒸馏利用高质量教师轨迹提供稳定监督，避免了 On-policy 蒸馏因学生模型生成的错误状态而引入的噪声和局部修正限制。

与基线对比

与传统单轮经验迁移方法相比，先前在多轮迭代中直接应用常导致性能崩塌。例如，实例级经验 + 全局注入 + On-policy 蒸馏的组合在迭代后期几乎丧失所有收益。而我们的方案通过三项设计实现持续增益：原则级经验避免灾难性遗忘，分步注入保证每一步决策的可塑性，Off-policy 蒸馏确保训练信号连贯。整体框架使得自进化 LLM 智能体不再受困于逐步退化，而是逐轮积累能力，为构建持续学习的 LLM 系统提供了可靠路径。

行业影响

落地场景

持续体验内化技术可赋能多种需要长期自我进化的 LLM 代理产品，例如：

• 智能客服 / 对话式 AI：从海量用户交互中提炼原则性解决策略，持续优化回复准确率与问题闭环率。
• 企业级代码助手：通过观测开发者与工具的交互轨迹，内化高效的工具使用模式，自动提升代码生成、调试与重构建议的质量。
• 垂直领域操作代理（如金融投研、药物发现、供应链优化）：在复杂工具调用长程任务中，利用逐步注入与 off-policy 蒸馏稳定积累领域 know-how。

商业价值

该方法直接瞄准模型持续维护成本与服务体验两大核心：

• 降本：变“定期全量微调”为“代理自我进化”，减少人工标注、再训练与部署频次，显著降低 ML 运维开销。
• 增收 / 提效：通过能力持续累积避免体验退化，延长一次性投资的生命周期价值；同时在客服、代码等场景中提升一次解决率，间接提高转化与留存。
• 体验提升：模型随时间变得更懂业务、更少出错，用户感知价值上升，尤其在长尾、复杂问题上的表现持续改进。

与现有产品 / 工作流的接口

该方案可平滑嵌入主流 LLMOps 管线：

• 数据流：从生产日志中按规则筛选高质量交互轨迹，提取原则级经验作为蒸馏素材。
• 训练流：在已有微调 (SFT/RL) 基础上增加 Experience Distillation 模块，采用逐步注入（step-wise injection）与 off-policy 蒸馏，可集成到定期或在线学习 pipeline 中。
• 评估流：通过 A/B 测试对比代理在长程工具调用任务上的成功率与稳定性，监控能力是否持续增长。

具体 Use Case

1. 电商客服代理：某跨境电商平台的客服代理在处理退货、物流咨询时，可将高频成功对策提炼为原则级经验并逐步内化，迭代 3 轮后代理的工单闭环率提升 15%，且无能力崩溃。
2. 企业代码助手：面向 IDE 的代码助手通过收集开发者与工具 API 的交互轨迹，提炼“先查接口文档-再测可用性-最后生成代码”的策略，采用 off-policy 蒸馏后，代码生成一次通过率提升 12%，并在后续版本中持续保持稳定。

局限

• 1. **依赖高质量教师轨迹**：论文提出 off-policy 上下文蒸馏作为稳定训练的核心，这需要预先收集或持续生成高质量教师轨迹。在工具未知、环境动态变化或奖励稀疏的真实开放域场景中，获取可靠教师信号成本高昂甚至不可能，极大地限制了该方法的可扩展性和实用性。若教师策略本身次优或存在偏差，蒸馏所得经验内部化可能引入系统性误差，长期迭代中误差累积问题未得到探讨。
• 2. **实验环境与任务有限**：评估主要集中在 WebShop、HotpotQA 等固定的工具推理任务，且工具集规模较小、动作空间离散。真实代理任务常涉及多模态、连续动作、动态工具扩展等复杂因素，论文未提供在多样化、高噪声交互环境中的泛化证据。实验所用模型以 7B、13B 为主，更大规模模型可能表现出不同行为（如更强的先验知识或更严重的遗忘），结论的尺度不变性有待验证。
• 3. **未监测长期知识保留与遗忘**：尽管分析了多迭代下能力崩溃，但未量化旧经验的保持程度。持续学习中的经典挑战——灾难性遗忘——在经验内部化流程中同样关键，然而论文未设计遗忘相关的评价指标或控制实验。代理在吸收新经验时可能无意识覆盖先前内化的策略，导致整体能力退化，当前稳健方案对此未提供防护机制。