相关但不完整：硬提示压缩中参照悬空作为范式级失败模式

TL;DR 硬提示压缩中的独立选择常导致“指代悬空”，即答案片段保留而所需实体定义被删；本文量化其普遍性并设计自动复原方法，以极小预算代价显著提升问答精度。

问题

问题背景

大语言模型处理长上下文时推理成本高昂，硬提示压缩（Hard Prompt Compression）通过独立评分并保留得分最高的 token、句子或块，在预算内缩减输入，成为降低开销的常见范式。

现有方法局限

当前硬压缩器（如 Beaver、LLMLingua-2、Selective-Context 等）基于逐单元独立筛选，忽略跨句依赖。这导致一种结构性失败：指代悬空（Referential Dangling）—— 当压缩后的上下文保留了答案实体，却删除了定义该实体的支撑句，使得推理链路断裂。实验表明，在 0.30 压缩比下，Beaver 在三个多跳 QA 数据集上让 34–54% 的桥接样本答案路径不完整；六种主流压缩器在 HotpotQA 上悬空率最高达 60%，LongBench-v2 单文档 QA 中每篇文档至少存在一处悬空指代。

为什么这个问题难/重要

多跳推理依赖证据链的完整性，而独立打分天然无法度量片段间的引用依赖。即便更强的下游模型（如 GPT-5.5）也无法自动弥补：在 MuSiQue 上，压缩后准确率仍比保留完整支撑段落低 8.8 个百分点。工程上，直接提升压缩质量比事后恢复更高效 —— 论文训练的轻量分类器仅通过重插拔 top- K 遗漏句，就在 HotpotQA 上带来 4.7 点提升，压缩比仅从 0.30 微增至 0.31。这反映出当前压缩指标只重视相关性而忽视指代完整度的盲区，对长文档 QA、RAG 管线等场景具有普遍影响。

行业类比

类似知识检索管线中只召回答案片段却丢弃定义实体，导致下游模型产生幻觉或错误引用，指代悬空正是该风险在提示压缩阶段的集中体现。

核心洞察

• **独立选择导致指代悬空**：硬提示压缩中，独立评分并保留最高分单元的方式会割裂依赖证据对——例如，保留的片段包含答案，但被删除的片段却定义了理解该答案所需的实体，形成“指代悬空”。这不仅是一个特定模型的缺陷，而是所有六种测试压缩器（Beaver, LLMLingua-2, Selective-Context 等）共有的范式级失效。与以往单纯追求相关性最大化的思路不同，该工作揭示了压缩必须额外考虑跨片段间的指代完整性与依赖链，若忽略这一点，即便更强大的下游模型（如 GPT-5.5）也无法补偿由此产生的准确率损失。
• **重新插入关键缺失段落可修复大部分性能**：实验表明，在固定令牌预算下，将缺失的支持段落重新插入，同时移除等量的非支持段落，能让准确率提升 29–34 个百分点，且统计显著（p < 0.0001），能恢复至少 88% 与非压缩上下文的性能差距。这说明性能下降的主要原因并非信息总量不足，而是支持性依赖关系的断裂。这一发现直接挑战了仅以相关性评分为基础的选择范式，为设计“依赖性感知”的压缩算法提供了清晰的定量目标与改造路径。
• **轻量分类器实现自动上下文恢复**：作者训练了一个紧凑的分类器，在不依赖任何支持性标注的情况下，能在推理时自动识别并重新插入被保留文本所需的关键句子，仅将压缩比从 0.30 微调至 0.31，即带来 4.7 个点的准确率提升。该方案可视为一个即插即用的后处理模块，与具体压缩器解耦，展示了一条低成本缓解指代悬空问题的高效工程路径，为实际部署提供了务实的选择。

方法

方法概述

本文提出一种 自动上下文复原 方法，用于修复硬提示压缩产生的 指称悬挂 缺陷。该方法在推理时为一个训练过的紧凑分类器，在不依赖任何支持性批注的条件下，将必需的被删除句子重新插入压缩上下文。

输入

• 压缩上下文：由任意硬压缩器（如 Beaver、LLMLingua-2 等）输出的保留文本片断。
• 候选句子池：原始文档中所有被删除的句子，构成待选复原来源。

关键模块：紧凑分类器

核心是一个轻量级二分类器，用于判断一个被删句子是否为理解保留文本所必需。其训练过程如下：

• 训练对构造：从多跳问答数据中提取压缩后的上下文与被删句子对。正样本定义为：句子包含保留文本中实体的定义性或解析性信息（即缺少该句将导致悬挂引用）；负样本为无关句子。
• 特征表示：使用嵌入层（类似 Qwen3-0.6B 尺寸的模型）分别编码保留文本与候选句子，并融合为联合表示。
• 损失函数：交叉熵损失，优化识别必需句子的能力。

推理时，分类器为每个被删句子输出一个必需性分数，选取 top-K 句子重新插入压缩上下文。K 的选取平衡预算增长与完整性恢复：实验中在 HotpotQA 上增加 1% 的 token 预算（压缩比由 0.30 变为 0.31），即可使准确率提升 4.7 个百分点。

输出

增强后的上下文——既保留原有高相关性片断，又补全了被硬压缩割裂的依赖对。下游模型（如 Qwen3-8B、GPT-5.5）在该上下文中表现显著提升，与保留所有支持句子的完整上下文差距缩小至 12% 以内。

与同类方法的差异

传统的硬压缩方法 仅按独立相关性评分 选择内容，忽略了跨句依赖；本方法显式建模指称完整性，以极小的额外预算实现精度恢复，可作为通用修复层叠加于任意硬压缩器之上。

实验

实验设计

作者在多跳问答（HotpotQA、MuSiQue 等）和长文档问答（LongBench-v2 Single-Document QA）上检验硬提示压缩的参照悬挂问题。核心设定为：对证据段落独立打分、按预算截断，生成压缩上下文。通过Beaver（基于 Qwen3-0.6B 嵌入的块排序）和另外五种压缩器（LLMLingua-2、Selective-Context、PartPrompt、LongLLMLingua、DAC）进行系统诊断。评估时不仅统计悬挂比例，还设计了固定预算内容重选和自动上下文恢复实验：前者在给定 token 预算下，用缺失的支持段落替换随机无关段落；后者训练一个小型分类器识别需要恢复的句子并插入，以平衡相关性与参照完整性。

关键发现

• 在压缩比 0.30 下，Beaver 导致 34–54% 的桥接问题中答案路径不完整；在共享 HotpotQA 桥接子集上，六种硬压缩器悬挂率高达 60%，且 LongBench-v2 每篇文档都存在悬挂引用。
• 重插入缺失支持段落（保持预算）使 Qwen3-8B 准确率提升 29–34 个百分点，恢复与保留两支持段落下性能差距的至少 88%。
• 更强的答案模型也不能吸收损失：GPT-5.5 在 MuSiQue 压缩上下文上准确率较完整上下文低 8.8 个百分点。
• 训练得到的恢复分类器在不提供支持标注的情况下，将 HotpotQA 上 Qwen3-8B 准确率提升 4.7 个百分点，且压缩比仅从 0.30 微增至 0.31。

与基线对比的解读

所有被测试的硬压缩器均以独立评分为核心，将上下文压缩视为特征的独立袋，忽略了实体间的依存关系。这一根本性缺陷导致看似保留高相关性的片段实则失去了解释关键实体的定义，产生参照悬挂。基线方法（如 LLMLingua-2 的 token 分类、Selective-Context 的自信息）虽评分机制不同，但都因无依存保持而出现高悬挂率。本研究提出的恢复方案证明，极小的额外成本（压缩比 +0.01）即可显著弥补该结构性缺陷，指向下一代硬压缩器必须纳入依存感知的选择策略，而非仅优化单点相关性。

行业影响

落地场景

硬提示压缩广泛应用于长上下文 LLM 推理降本，典型业务场景包括：

• RAG 问答系统（客户支持、企业知识库）：压缩检索到的文档片段，以在有限上下文窗口内整合更多证据。
• 多跳推理助理（金融合规审查、医疗记录摘要）：需要从多文档中链接事实，压缩可能破坏实体共指，导致答案错误。
• 内容生成与摘要（新闻聚合、报告自动生成）：压缩源材料时若丢失定义性句子，生成文本可能产生事实漂移。

商业价值

• 降本：方法允许在保持压缩比（仅从 0.30 增至 0.31）的前提下，通过 引用完整性恢复 使准确率提升 4.7 个百分点（HotpotQA），避免因错误压缩而重复推理或人工校验、直接降低 token 消耗。
• 体验提升：多跳问答场景下，减少因缺失指针导致的“答非所问”，提升用户信任和采纳率，对客服、知识管理等对外产品有直接商业收益。
• 风险控制：在合规、合同分析等高压场景，避免因压缩丢失关键引用而引发法律或合规风险。

与现有工作流的接口

现有压缩工具（LLMLingua-2、Beaver 等）多独立打分选取高相关片段，可将其输出作为输入，接入论文提出的轻量级分类器：

1. 对压缩后的上下文运行原位句子分类，预测哪些句子需要其前驱定义句。
2. 从被删除的片段中按需回插少量句子，修复引用悬挂。
3. 分类器无需标注支持关系，仅需弱监督训练样例，可直接适配不同压缩器产生的输出（论文验证了跨压缩器的迁移性）。 集成模式：可作为现有压缩管道的后处理插件，或嵌入压缩器的评分阶段作为第二步完整性检查，不改变上游检索或下游推理流程。

具体落地案例

• 金融研报问答：投资分析助理需回答“某公司三季度营收增长原因”，答案依赖多份研报中的关联句。Beaver 压缩保留数值句但删除定义句（“营收增长由新产品线驱动”），导致无法归因。通过恢复被删句，在相同压缩比下确保答案可解释，避免分析师重复查询。
• 电商智能客服：用户询问“某商品售后政策”，压缩可能保留政策条目但删除绑定商品的限定条件（如“仅限自营商品”），造成错误承诺。引入引用完整性修复后，可自动回插限定条件句，减少客诉风险。

局限

• **任务与数据集局限**：论文仅在多跳问答（HotpotQA, 2WikiMultiHopQA, MuSiQue）和 LongBench-v2 单文档问答上验证指代悬空现象，未覆盖摘要、代码生成或长对话等常见长上下文场景。实验的压缩比固定为 0.30，未探讨其他压缩比例下悬空率的变化趋势，限制了结论的普适性。自动恢复方法仅与硬压缩器配合测试，与软压缩或稀疏注意力等不同范式下的上下文选择策略的兼容性未知。
• **恢复方法的依赖与代价**：自动上下文恢复需要为每个压缩器训练一个独立的轻量分类器（基于 DeBERTa-v3-large），虽然声称可迁移（附录 H），但论文仅展示了在同一压缩器不同配置间的迁移，跨压缩器迁移效果未充分验证。分类器的候选源限于原始上下文的所有句子，推理时需对每个被删句子打分并重插入 top-K，可能引入额外延迟和显存开销，尽管压缩比仅从 0.30 微增至 0.31，在极致低延迟场景下仍可能不适用。
• **实验对比深度**：论文对比了六种硬压缩器，但其中 Beaver 作为主要分析对象使用了 Qwen3-0.6B 嵌入，而其他压缩器使用不同信号，缺乏统一可控的消融实验来说明信号选择对悬空率的影响。固定预算内容重选实验使用 Qwen3-8B 和 GPT-5.5 作为下游模型，但未测试更大参数量的开源模型或不同家族（如 Mixture-of-Experts 架构）对悬空敏感度的差异，可能高估了强模型的鲁棒性。