更少澄清，更好代码：编码助手中跨会话个性化歧义适应的基准测试

TL;DR 定义个性化模糊适应新任务，发布CAPA基准（600会话、6种模糊机制），评估LLM跨会话记忆能力，推动编码助手从一次性纠错走向长期意图理解。

问题

AI 编程助手正逐步将 非正式意图 转化为可执行代码，但用户请求常隐含 个人化歧义 (personalized ambiguity) —— 同一用户在不同任务、会话中会重复表现出相似的歧义模式。现有方法多在 当前会话 内孤立消歧，依赖反复澄清，而忽略了过往已解决的会话历史可作为记忆进行复用，导致交互冗长、重复劳动。

从技术上看，跨会话歧义适应的核心挑战在于：如何将用户 历史解决的会话 转化为持久记忆，在新打开的全新会话中，仅凭一次或极少量交互就能识别出重复的歧义类型，直接生成符合 用户预期 的可执行方案。这要求模型具备 跨会话的长程记忆 和对 用户特异性歧义 的快速适配能力，而非仅依赖单轮语境。业界对编码助手“长期陪伴”的期待本质上是对深度理解用户的需求——若助手不能减少反复澄清，将严重拉低开发者体验与效率。

这一任务的难度在于，个性化歧义不仅种类繁多（如模糊命名、多样的风格偏好等），而且与用户身份强绑定，需要精确的 用户建模 和 歧义模式识别。这与智能客服系统需要记住用户过往问题以缩短解决路径的场景高度相似：只有将用户过往的交互作为长期记忆融入推理，才能实现从“每问必答”到“无感对齐”的跃迁。

核心洞察

• 定义跨会话个性化模糊适应任务：代码助手中的模糊通常因用户而异且跨任务重复，现有方法多在一次会话内孤立处理每个模糊请求，依赖反复澄清。本文提出利用同一用户的历史解析记录作为记忆，在新会话中识别重复的个性化模糊模式，直接生成符合用户意图的代码，从而减少澄清。这一设定更贴近真实开发中用户偏好的持续性，将研究从单轮交互推进到长期适配。
• CAPA 数据集通过受控生成管道系统性注入六种个性化模糊机制：以往模糊解析研究常基于自然收集的模糊数据，但难以分离模糊类型与用户差异的影响。CAPA 从明确可执行的任务出发，通过三阶段流程向代码和指令中注入已知的个性化模糊，构建了 60 个均衡的用户-模糊单元，确保评估的可控性与可分析性，为未来长期编码助手研究提供了标准化基准。
• 现有 LLM 在利用同用户历史消除跨会话模糊时仍有显著局限，轻量级用户历史门控即可提升性能：实验表明，即使给模型提供同一用户的历史解析会话，首轮可执行成功率仍不理想，揭示模型未自动有效地使用历史信息。提出的 same-user history gating 作为一种推理时方法，在无需额外训练的情况下增强了模型对历史参考的利用，为更复杂的记忆检索与融合机制指明了方向。

方法

任务形式化

CAPA 将个性化模糊适应建模为 多会话记忆利用问题：给定同一用户历史上已解决的多个编码会话（包含对话、澄清过程及最终正确代码），以及一个新的、具有用户特有模糊性的编码请求，助手需 在不主动提问的前提下，直接从历史中识别模糊模式，生成符合该用户习惯的可执行代码。任务目标是最小化澄清轮次，并最大化首轮成功率。

模糊性分类与注入

方法的核心是 受控三阶段生成流水线，确保模糊性可归因、可评估：

1. 库基任务采样：从已有可执行编码任务库中抽取不含模糊性的“干净”任务，保证其可被执行和验证。
2. 用户-模糊单元绑定：定义 6 种个性化模糊机制（如命名风格、错误处理偏好、库选择倾向等），并为每个“用户”分配一组稳定的机制组合；在干净任务中注入这些机制，生成带有该用户特有模糊性的请求。
3. 多会话历史合成：为同一用户生成多个历史会话，每个会话包含用户初始模糊请求、助手请求澄清的过程以及最终符合用户偏好的代码解答。这些历史会话构成模型的“记忆”输入。

CAPA 共构建 60 个用户-模糊单元，每个单元包含 10 个会话（历史与评估），总计 600 个会话，其中 300 个用于留出测试。

评估与推理增强

评估选用 executable success（是否生成可执行代码）、first-turn success（首轮是否直接符合意图）和 turns-to-completion（完成所需交互轮数） 三项指标，直接从工程实用性考量助手的模糊适应能力。进一步提出 same-user history gating 轻量推理时方法：仅当查询来自已知用户且历史显式包含对应模糊模式时，才激活历史记忆，避免无关历史引入干扰。

与同类方法的差异

不同于现有工作仅在当前会话内通过即时澄清处理模糊性，CAPA 首次关注跨会话的记忆化适应，并提供了标准化的可执行评估框架，使得从历史中提取用户长期偏好成为可量化的研究方向。

实验

实验设计

CAPA 数据集包含 600 个跨会话编程任务，覆盖 60 个用户-歧义组合，其中 300 个用于评测。评估 12 个近期 LLM 在无历史和同用户历史两种条件下的表现，主要指标为可执行成功率、首轮成功率和完成轮数。额外分析任务难度、用户身份的影响，并测试记忆方法对历史利用的增强效果，提出轻量级同用户历史门控方法。

关键发现

• 提供同用户历史会话可显著提升模型消歧能力，减少反复澄清轮数。
• 不同模型对个性化歧义适应能力差异明显，强模型在跨会话记忆利用上并不总是最优。
• 用户个性化的歧义模式（如变量命名习惯、项目结构偏好）是稳定可捕捉的信号，但并非所有歧义类型都同等受益于历史记忆。
• 简单的门控策略在多数场景下已能有效筛选相关历史，避免无关信息干扰。

与基线对比

传统方案通常将每次歧义当作孤立事件处理，依赖当轮澄清；本工作首次将跨会话、同用户的歧义适应作为独立任务基准化。实验证明，引入记忆机制后，模型从历史中学习的潜力远超已有假设，尤其是在复杂任务中。然而，现有记忆方法（如全量历史拼接）存在噪声和上下文窗口浪费问题，门控方法提供了高效的折衷，但仍有优化空间。

行业影响

落地场景

CAPA 基准聚焦于跨会话的个性化歧义适应，直接面向 AI 编程助手（如 GitHub Copilot、Cursor、Amazon CodeWhisperer）的用户意图理解模块。当用户在不同会话中反复使用个人偏好的命名规范、错误处理风格或特定库版本时，现有助手常需要重新澄清，而 CAPA 提出的记忆机制可让助手自动继承历史意图，减少重复交互。该技术同样适用于 企业内部知识库问答、低代码平台的自然语言配置 以及 自动化测试生成 等产品。

商业价值

减少澄清轮次直接降低用户交互成本，平均每次任务可节省 1～3 轮对话，在大规模使用下显著降低 LLM API 调用费用。同时，首次请求即正确执行的成功率提升可增强用户信任，推动付费转化和留存率。对于面向企业的编码助手，更准确的意图适配意味着更少的代码返工与 review 时间，从而直接节省开发者时薪成本。

与现有产品/工作流的接口

当前主流编程助手多为无状态单次推理，CAPA 提出的 Same-user history gating 方法可作为轻量级推理时增强模块，挂载到现有 LLM 推理 pipeline 上。具体集成方式包括：

• 在会话开始时检索该用户的历史歧义解决记录，作为 additional context 拼接到 system prompt；
• 或通过向量数据库存储用户偏好原型，实时判断是否触发历史记忆注入。 无需改变模型训练流程，可快速适配已有产品。

具体落地 use case：

• 电商平台的运营分析脚本生成：运营人员常使用特定字段名和聚合逻辑，跨任务生成 SQL 或 Python 脚本时，助手记住其偏好后无需每次指定，大幅提升数据分析效率。
• 金融风控模型开发：在不同信贷审批项目中，风控工程师习惯使用的特征工程方法和阈值设置风格各异；助手根据其历史会话自动采用一致的模式，减少沟通偏差与合规风险。

局限

• **基准的受控生成与真实世界个性化模糊的差距**：CAPA 通过注入六种明确机制来模拟跨会话模糊性，但真实场景中的用户偏好、习惯和歧义往往更隐蔽、动态变化且跨任务耦合，可能无法被预设分类完全覆盖。数据集构建的三阶段流程虽保证了可控性与平衡，却可能牺牲了自然编码场景下的噪声分布和真实交互轨迹，导致模型在该基准上的表现无法直接外推到生产环境。此外，评估仅依赖可执行成功与轮次指标，缺少对代码质量、可维护性、安全性的深入衡量，可能遗漏长尾但关键的个性化需求。
• **历史记忆方法与系统集成尚未充分探索**：论文所提的**同用户历史门控**（same-user history gating）是一种推理时轻量级机制，仅根据任务 ID 或表面相似度决定是否注入历史，未利用更复杂的记忆管理策略（如结构化检索、动态令牌预算分配或增量学习）。实验对比的基线局限于简单拼接或无历史，缺乏与主流长期记忆方案（如 MemGPT、流式 RAG）在同等条件下的直接比较，难以判断该方法的相对优势。另外，任务设定中历史会话被预先整理为“已解决”，但现实中如何自动过滤噪声、聚合多个会话并维护身份一致性仍是未解决的工程挑战，论文未就此提供指引。
• **用户身份与个性化程度建模较理想化**：CAPA 将用户视作静态的模糊性偏好集合，每个用户-模糊性单元保持固定需求模式。然而真实用户的行为可能动态演变，跨设备或协作场景下身份与意图也会混合。实验虽然通过**用户身份标识**分组评估，但仅比较了同一用户历史条件下的性能，未探索多用户交叉影响、新用户冷启动或偏好漂移等更复杂的个性化设置。同时，基准中的 60 个单元样本量偏小，可能不足以支撑对用户多样性、模糊性程度细粒度差异的稳健统计推断，限制了结论的普适性。