LLMs Get Lost in Evolving User Intent

TL;DR 论文揭示 LLM 在用户意图动态演化（逐步透露、修正、重定向）的多轮对话中表现大幅下降，静态评测无法反映该缺陷，并构建了可将已有基准转为意图演化对话的测试框架。

问题

问题背景

大型语言模型(LLM)正从单轮问答工具向协作式智能体(collaborative agent)演进，需要通过与用户的多轮对话来理解并执行动态意图。当前评估体系仍以静态、单轮、意图已完全给定的任务为主，无法衡量模型在真实交互中跟踪与响应意图演化的能力。

现有方法局限

主流评测基准(如 MMLU、HumanEval、AlpacaEval)将任务封装为一次性输入-输出对，假设用户意图在任务开始时已完整、明确且稳定。然而，这种设定忽略了三个关键局限：

• 意图增量揭示：用户可能仅先提供部分要求，后续轮次逐步补充约束或目标。
• 意图中途修正：对话中用户可能撤销或调整先前指令，要求模型忽略或改写已生成内容。
• 目标重定向：上下文切换或子任务插入，需要模型在不丢失主线的情况下灵活切换焦点。

现有对齐技术(如 RLHF、DPO)主要优化单轮响应质量，缺乏对意图追踪一致性的显式建模，导致模型在多轮交互中容易陷入上下文粘连（过度依赖早期不完整指令）或意图遗忘（忽略修正后的新要求）。

为什么这个问题难且重要

• 技术挑战：LLM 的自回归生成机制天然倾向于维持已生成内容的连贯性，难以在后续轮次中推翻已建立的叙事或结论。此外，长程对话中的注意力稀释会弱化早期约束的权重，而频繁的意图修改又要求模型在稳定性与可塑性之间平衡。
• 业界关注度：随着 LLM 被集成到代码助手、任务自动化、客户服务等需要多轮协商的场景，意图追踪失败直接导致任务失败或用户体验恶化。例如，GitHub Copilot Chat 中若模型不能根据用户逐步细化的自然语言指令调整代码建议，则协作效率大打折扣。

行业场景类比

就像智能编程助手在用户逐步细化需求时，必须能跟随“先实现基本排序，再改用稳定排序，最后添加降序选项”这样的意图流，而非固守第一版错误方向。

核心洞察

• 静态评估无法衡量LLM在协作场景下的真实能力：该工作揭示将模型性能从静态单轮任务推广到动态多轮意图演化场景时出现显著下降，这与以往仅关注固定意图的评估范式形成鲜明对比，表明现有基准需要注入意图演化特性才能反映实际使用中的意图跟踪能力。
• 利用现有基准构建动态测试床的方法具有高复用价值：作者提出的框架将静态任务转化为多轮对话，同时保持原有评估指标，无需额外标注，为低成本评估模型应对意图演化提供了新工具，区别于需要重新构造数据集的方法。
• 模型在意图修订与重定向时表现出的失效指出了当前LLM的深层缺陷：意图演化中的修订和重定向往往要求模型忽略或覆盖已有上下文，而模型可能过拟合于初始指令，这揭示了注意力与记忆机制在处理持续变化意图时的不足，为模型架构改进提供了明确方向。

方法

方法框架：静态任务到演化意图对话的自动转换

输入：现有的静态单轮任务（如问答、指令跟随、文本生成等），附带标准评估协议（指标、参考答案）。

核心模块：演化意图对话生成器（Evolving Intent Dialogue Generator）。该模块将每个静态任务实例扩展为多轮对话，模拟用户意图的动态变化：

• 增量揭示（incremental disclosure）：首轮给出模糊或部分需求，后续轮次补充细节；
• 意图修订（intent revision）：用户中途修正先前的约束或目标；
• 意图重定向（mid-conversation redirection）：话题或任务突然转变，但最终仍可回归原始评估标准。

生成器通过预定义的对话模板与规则组合，自动产生对话历史，并确保最后一轮或指定轮次的输出可用于按原基准评估（例如，检查最终答案是否满足原始任务要求）。整个过程无需人工重新标注，直接复用现有基准的标注数据。

输出：多轮对话数据集，其中每条数据包含完整的对话历史（用户消息与助手回复）及关联的原始任务评估标签。可直接用于评测 LLM 在意图演化场景下的表现，并与静态单轮性能对比。

关键设计：通过把“意图偏移”量化为可控的对话操作，框架能系统地测量模型对三种演化模式的敏感度，并避免因对话长度或领域差异引入混淆。

与同类方法的差异：现有对话评估（如 MT-Bench、AlpacaEval）多依赖人工撰写固定对话，或仅评估静态单轮能力；本方法从既有基准自动生成演化意图的多轮测试，聚焦于模型对动态意图的跟踪与忠实度，且评估方式与原始基准完全对齐，便于横向比较与故障分析。

实验

实验设计

研究者提出一个框架，将标准单轮任务 (如翻译、问答) 动态化为多轮对话，模拟用户意图随对话逐步演化——包括逐步披露、修正甚至中途重定向。该框架无需新增标注，直接复用现有基准的评估协议，将主流 benchmark (如 MMLU、HumanEval 等) 转化成受控测试环境。每轮中，模型需根据更新后的意图调整输出，评估指标沿用原任务标准，从而对比静态与动态两种设定下的能力差异。

关键发现

在所有测试任务中，模型在静态设定 (完整意图一次性给定) 下表现强劲，但一旦切换至意图逐步演化的多轮场景，性能普遍大幅下降。下降现象跨越 GPT-4、Claude 等主流模型家族，表明这不是个别模型的短板，而是现有 LLM 的系统性缺陷。模型常过度锚定初始意图，难以在对话中途灵活修正方向，或错误忽略用户的修正请求。

深度对比解读

此发现对工程实践有直接警示：当前以静态评测为主导的基准无法反映模型在动态协作中的真实可用性。与解决固定任务的智能体不同，协作智能体必须持续追踪并贯彻用户的演化意图。该工作揭示了 “静态能力”与“动态意图追踪”之间的断层，提示开发者需从对话历史中建模用户心智状态，而非简单堆叠单轮性能。未来评估体系应纳入意图漂移鲁棒性指标，引导模型架构向交互式对齐演进。

行业影响

落地场景
在智能客服、虚拟助理、对话式推荐系统、协作编程助手等产品中，用户意图常在多轮对话中逐步修正、细化甚至转向。例如，退货咨询中客户先问政策，再到提供订单号，最后改为换货；代码 Copilot 中，开发者先描述模块功能，随后追加异常处理逻辑。本文揭示，当下 LLM 在这种动态交互中频繁丢失意图，根源在于训练和评估都基于单轮静态假设。

商业价值
准确跟踪动态意图可显著减少因理解偏差导致的无效交互，提升对话任务完成率，进而降低人工客服介入成本。在推荐场景中，及时响应用户偏好的变化能提高转化率和客单价；在知识服务中，减少重复澄清能改善用户留存与 NPS。该能力是构建可信协同 Agent 的基础，直接影响产品体验与规模化运营效率。

集成路径
可将论文提出的动态意图评估框架作为离线测评的补充维度，直接复用现有静态任务标注数据，无需额外成本。在线侧，通过轻量级意图记忆模块（如上下文的注意力掩码复用或键值缓存）与 RAG、Function Calling 管道配合，在不更换模型的前提下增强多轮一致性。该方案与主流 LLM 工作流（如 LangChain、Semantic Kernel）接口兼容，集成门槛低。

具体落地用例

• 电商对话推荐：用户选购礼品时意图从“送女友，预算 500”转变为“改送同事，要环保”，模型需动态调整商品筛选逻辑，避免推荐完全偏离。
• 企业知识库助手：员工从查询报销规则转为询问财务负责人，再要求生成报销报告模板；系统须识别子任务切换，并保留初始查询的上下文，防止生成无关模板。

局限

• 论文主要基于有限的任务（如数学推理、编程、问答等）和模型（如GPT系列、Llama等）进行实验，未覆盖更广泛的对话场景或领域专用任务，泛化性有待验证。框架将静态任务通过模板转化为动态对话，但模板设计可能引入偏差，且用户意图的演化模式（逐步透露、修订、重定向）虽具代表性，仍可能无法穷尽真实对话中意图演变的全部复杂性。
• 作者承认性能下降的原因尚未深入分析，仅将现象归因于“大模型未忠实地跟踪演化中的意图”，缺乏对注意力机制、记忆或规划等内部组件失效的细粒度诊断。从实验设计看，缺少与专门为多轮对话设计的基线方法（如记忆增强模型、显式意图跟踪模块）的对比，难以判断现有Chat LLM是否通过简单后处理即可缓解问题。
• 与同类工作（如多轮指令遵循、对话状态跟踪）相比，本文更强调意图的动态演变而非状态维持，但框架的评估仍依赖最终任务输出，忽略了中间过程（如每一步的意图理解准确性）的细粒度衡量。此外，GitHub仓库仅含评估框架，未提供缓解该差距的训练方法或模型改进建议，实用性受限。