CAVEWOMAN: 大型语言模型在输入与输出语言压缩下的行为表现

TL;DR CAVEWOMAN 揭示输入压缩反增成本、输出压缩才真省钱：LLM 会为残缺提问生成更长回复，反而推高开销且损害准确度。

问题

LLM 推理成本持续攀升，业界广泛采用提示缩短或输出精简等方式来减少 token 消耗，默认压缩任意通道都能线性节流。

现有方法局限在于：多数研究将输入压缩与输出压缩视为等价操作，忽略了两者对模型行为的影响根本不同。输入端压缩常使用LLMLingua等工具删除提示中的非关键词，但模型为弥补信息缺失，往往生成更长、更冗余的回复，导致实际消耗的 token 数反增；输出端压缩则缺乏统一框架，难以同时评估任务准确率、真实成本与语义保真度——即使答案正确，表面文字可能已完全偏离原始无约束生成的语义内容。此外，API 模型与开源模型的定价差异、压缩强度与数据集类型的交互效应均未被系统衡量，使得“压缩即省钱”的直觉潜藏隐性亏损。

该问题之所以困难且重要，在于语言压缩触发了模型内部的补偿性生成策略：输入信息稀疏时，模型倾向于展开推理或填充背景，导致输出膨胀，抵消了输入端节省的 token；同时，强压缩会破坏推理痕迹，造成准确率崩塌，而传统 token 计数标准无法反映这一不对称成本结构。业界对推理成本的关注度极高，微小的估算偏差即可在企业规模化应用中放大为显著财务损耗，因此需要一种能区分通道、融合经济指标与语义判断的评估协议。

行业类比：如同要求客服只用关键词回复客户，结果每一轮对话都因歧义而多次澄清，总体沟通成本反而暴增——压缩输入并不等于压缩支出。

核心洞察

• **输入压缩是严格输-输**：当压缩用户提示时，模型补偿性地生成更长回应，导致净成本反而上升（基准均值 1.15 倍，极端可达 2.7 倍），同时任务准确率大幅下降。这颠覆了“更短提示 = 更低成本”的直觉，揭示了**推理成本的非对称性**：实际消耗由模型回应长度主导，而非输入长度。与单通道研究不同，Cavewoman 通过并行评估同一项上的两个通道，首次量化证明了这种反直觉的成本陷阱。
• **输出压缩解耦了正确性与语义忠实度**：压缩模型回应虽降低每项成本（1.4–2.4 倍），但约半数正确生成却不再蕴含无约束参考回答，且这种分歧在长度控制评分、多重校正和互补语义度量下稳健。这意味着**表面正确的答案可能已偏离原意**，仅凭任务准确率不足以评估压缩质量。该发现为压缩部署提供了预警：成本节省需与语义漂移风险权衡，而现有工作多未考虑此维度。

方法

实验设计核心：双通道压缩评估协议

CAVEWOMAN 提出一个系统的双通道评估协议，用于测量语言压缩在 输入（用户 prompt） 和 输出（模型回复） 两个方向上对推理成本、任务准确度及文本一致性的影响。协议以“无压缩下模型自身参考输出”为基线，对同一组样本同时施加通道特定的压缩干扰。

输入条件

• 数据集：五个覆盖推理、知识、数学等任务的基准（如 MMLU-STEM、GSM8K 等），每项均以完整自然语言形式给出。
• 压缩级别：设定五个语言精简等级（L0 至 L4），从无压缩到强语法省略（“caveman style”），通过预定义的 POS-tag 过滤规则（输入压缩）或系统提示（输出压缩）实现。
• 两种实验条件：
  • Condition A（输入压缩）：保留模型回复不受限制，仅对用户 prompt 施加语言精简。
  • Condition B（输出压缩）：prompt 保持不变，通过系统提示要求模型以精简风格回复。

关键模块

1. 提示构造：输入压缩时，使用中性系统提示，并用规则过滤掉非必要词性（如形容词、副词），保留核心名词与动词；输出压缩时，系统提示直接指定“talk short, drop grammar”等约束。
2. 模型群：在 8 个模型上评估，包括闭源 API 模型（如 GPT-4o、Claude 3.5）与开源权重模型（如 Llama 3、Qwen 2），覆盖不同架构与规模。
3. 指标量化：
   • 任务准确率：通过解析生成结果与标准答案的匹配（考虑压缩可能导致的解析歧义，进行提取率审计）。
   • 实际单条成本：基于 API 计费或开源定价投影的 token 计费，计算输入 token + 输出 token 的实际费用。
   • 参考文本一致性：使用 NLI 判断、BLEU、BERTScore 等语义度量，衡量压缩条件下生成文本是否仍蕴含无压缩基线文本的语义。
   • 补偿性扩展检测：监控输入压缩后模型回复是否变长，以揭示成本不降反升的机制。

输出与应用发现

协议输出每个模型-数据集-级别-条件组合的三维报告：精度损失、成本变化倍数、文本语义发散程度。关键工程发现为：输出压缩可稳定降低实际成本（多数 API 模型降低 1.4-2.4 倍），而输入压缩因触发回复补偿性扩展，会使成本反而上升约 1.15 倍，且准确率显著衰减。

与同类方法的差异

不同于 LLMLingua 等仅优化 prompt 长度或仅评估压缩率的工作，CAVEWOMAN 首次将两个通道的解耦效应与真实经济成本、语义保真度联合建模，揭示了输入与输出压缩的成本不对称性，并明确定位了“节省幻觉”产生的工程原因。

实验

实验设计

实验构建了 双通道压缩评估协议：分别对 用户提示(输入通道)和 模型回复(输出通道)施加语言学压缩(去除冠词、介词、简化语法等)，在五个数据集上评测八个模型，覆盖五种压缩强度。每项评测同时捕获任务准确率、实际单条成本(基于 API 定价)、以及生成文本与未压缩参考文本的语义一致性。

关键发现

• 通道非对称性：输出压缩真正降低推理成本，API 模型降低 1.4–2.4×，开源模型在公开定价下降低 高达 3×；而输入压缩反而推高净成本（均值 ~1.15×，最坏数据集 ~1.8×，强压缩达 2.7×），原因是模型为补偿输入信息损失而生成更长回复。
• 准确率与表面文本解耦：即使输出压缩后任务准确率维持，约 一半正确生成 不再蕴含模型自身未压缩时的参考文本，表明压缩导致了 语义漂移，而非简单长度缩短。

与基线和同类工作对比

传统提示压缩工具(如 LLMLingua)通常默认压缩输入，试图通过减少计算量降本。但本工作首次通过统一的双通道对照实验揭示，输入压缩具有“双输”效应——不仅成本上升，准确率也下降。输出压缩的降本能力远优于输入压缩，但它引入的语义分歧提示我们：成本优化不能只盯价格，还需关注模型推理过程的结构变化。该框架为推理经济性研究提供了同时考虑 成本、正确性、忠实度 的基准。

行业影响

落地场景

论文揭示输出压缩可显著降低 LLM 推理成本（API 模型达 1.4–3×），而输入压缩反而推高成本并损害准确率。这直接适用于以下高频文本生成场景：

• 智能客服与对话机器人：对回答施加“简短”约束，减少每次对话的 token 开销，同时避免压缩用户问题，以防模型生成冗长澄清回复。
• 内容平台摘要/评论生成：在生成摘要、社交媒体帖子时启用输出压缩，降低按量计费成本，并通过后置语义校验保证压缩文本仍蕴含原始完整回答的核心信息。
• 代码/文档辅助工具：输出压缩可减少注释和解释性文本的 token 消耗，但需监控正确性，防止关键步骤被过度简化。

商业价值

• 直接降本：对按 token 计费的 API 模型（如 GPT-4、Claude），控制输出长度能减少单次调用 30–50% 的费用，高频调用场景年化节省显著。
• 避免无效压缩陷阱：论文明确输入压缩是“严格负收益”操作，提示组织应放弃对用户提示进行简化预处理，转而投资于输出端控制策略，可规避 15–80% 的额外成本浪费。
• 体验优化新视角：输出压缩虽节省成本，但约半数生成会与完整参考文本语义漂移，需在应用层引入一致性检测（如 NLI），兼顾成本与质量。

与现有产品/工作流的接口

现有 LLM 中间件（如 LangChain、LlamaIndex）可通过以下轻量改动集成此发现：

• 输入侧：禁用任何对用户原始提示的压缩（如 LLMLingua 类工具），直接转发完整提示到模型。
• 输出侧：在系统 prompt 中追加压缩指令（如 “Answer in brief, no filler words”），或对生成结果应用长度截断。
• 质量监控：部署语义一致性裁判模型（基于 NLI 或原生 API 评判），对压缩文本打分，不通过时回退到完整输出或请求重新生成。
• A/B 测试框架：将论文的实际单条成本和参考文本一致性作为评估指标，持续跟踪不同压缩级别下的收益和准确率折损。

例如，电商平台可将上述逻辑封装为客服回答后处理插件：对每条机器回答自动压缩，并通过内置的 NLI 检查确保压缩文本保留原意，未通过则返回原始长回答，平衡成本与用户体验。

局限

• **压缩方法局限**: 论文采用基于 POS 标签的过滤规则实现语言简化，未涉足更先进的语义压缩或 token 剪枝技术（如基于重要性评分的动态压缩），可能低估了输入压缩在保持准确性的前提下降低成本的潜力。此外，实验仅覆盖 8 个模型与 5 个英文数据集，对多语言、多模态及开放域对话场景的泛化性尚未验证。
• **成本估算敏感**: 实际成本节省严重依赖 API 定价快照与开源模型托管费率假设；不同云服务商、批处理折扣或长上下文定价策略均会导致收益差异，私有化部署中的吞吐量、内存开销也未纳入考量，因此“输入压缩反而增本”的结论在特定计费模型下可能弱化或反转。
• **评估基准单一**: 与 LLMLingua-2 的对比仅限附录且条件固定，未系统比较更多压缩范式（如提示精简、检索增强生成中的压缩）在该双通道协议下的表现。同时，语义一致性评委（NLI 模型）在高压缩等级下可靠性下降，即使经过长度控制复评，噪声仍可能影响结论稳健性。