Linear Ensembles Wash Away Watermarks: 论 LLMs 中分布扰动的脆弱性

TL;DR 当用户可访问多个模型时，对输出概率分布进行简单平均就能近乎消除水印扰动，使检测失效——这揭示了水印在竞争性市场中的根本脆弱性。

问题

问题背景

大型语言模型(LLM)的快速部署使 AI 生成文本的检测与归属成为关键需求，水印技术通过在输出分布中嵌入统计签名来实现可靠鉴别，正被教育评估、内容审核等领域寄予厚望。

现有方法局限

现有水印方案(如 KGW、Aar、Unigram 等)均假设攻击者只访问单一加水印模型，通过扰动下一个 token 概率分布来嵌入信号。然而，在现实中用户可同时使用多个提供商模型，各模型的水印扰动通常是独立且异质的。论文理论证明：对多个模型的输出概率做简单线性平均，即可将扰动抵消至二阶误差项，从而使单体水印检测的 z-score 从 5–300 暴跌至检测阈值(4)以下，TPR@5%FPR 降至 50% 以下。现有方法完全未考虑这种“集成消洗”脆弱性，且因不同模型间词汇不匹配、分词差异等因素，直接平均会破坏语义连贯性。

为什么这个问题难/重要

• 根本性矛盾：若市场存在多个独立加水印的 LLM(即当前生态)，平均操作就能廉价地“洗去”水印，同时生成文本的质量反而提升 27.5%，这意味着水印鲁棒性与开放市场竞争难以共存。
• 技术挑战：跨模型集成时需解决词汇对齐、分词差异等异构性问题，单纯的概率平均会造成语法错误或语义断裂。论文提出的 WASH 框架通过联合词汇重映射、流畅度感知路由和上下文重同步解决了这些工程难题，使得平均后的文本依然流畅可用。
• 业界关注度：水印是 AI 内容治理的核心技术，若无法抵抗这种白盒/灰盒集成攻击，则所有依赖水印的监管、版权保护、虚假信息追溯机制都可能失效。唯一防御是“史无前例的提供商协调”或接受此脆弱性，这直接影响模型生态的设计哲学。

行业类比

如同数字音频水印——若多个流媒体平台对同一首歌曲嵌入不同水印，攻击者只需混音 3–5 个版本就能近乎完美地消除印记，LLM 的水印也因“分布式独立扰动”在概率平均中自然消失，使得开放生态下的鲁棒检测成为一道无解难题。

核心洞察

• 多个独立水印模型的输出概率分布求平均，理论上可恢复原始无水印分布，且误差控制在二阶小量。这揭示了水印方案的根本脆弱性：只要用户能访问多个模型提供者，独立扰动几乎必然被线性集成抵消，而无需知道水印密钥或任何内部细节。该发现将水印安全性从单模型假设推向了现实的多模型竞争市场，直接表明基于分布的文本水印在无协调的多供应商生态中难以成立。
• WASH 方法通过 Union-based Ensemble 和 Fluency-Aware Routing 解决异构模型间词汇不对齐与分词差异，使线性集成实际可用。更关键的是，集成 3–5 个模型后检测 z‑score 从 5–300 降至 2 以下，TPR@5%FPR 低于 50%，同时文本质量提升 27.5% 且长序列生成速度 6 倍于最佳基线。这意味着水印不仅可被轻易抹除，而且抹除过程还能带来质量与效率增益，颠覆了水印作为被动检测屏障的工程假设。

方法

输入与问题建模

多个大语言模型（LLM）提供商各自部署水印，通过在输出分布中注入独立扰动来嵌入统计签名。攻击者（或用户）可访问 M 个带水印的模型 {LLM_1, ..., LLM_M}，给定提示 x，目标是从各模型获取候选 token 概率分布，并合成去除水印的输出。关键假设：各模型的水印扰动在提供商之间相互独立，且相对于原生分布是二阶小量。

核心模块：线性集成与统计混合

1. 理论基石——分布平均消除水印
理论证明，对 M 个独立水印模型输出的 token 概率向量取简单平均，所得分布与原始无符水印分布的 KL 散度上界仅存二阶误差项 O(ε²)，其中 ε 为单模型的水印扰动幅度。因此，仅需 3–5 个模型的平均即可让水印信号衰减到检测阈值以下。

2. WASH 框架应对工程挑战
实际中不同模型使用不同的 tokenizer 和词表，无法直接平均概率向量。WASH 引入三个关键机制：

• 基于并集的集成生成：将各模型输出的 token 映射到并集词表，对不在词表中的 token 赋零概率，构建对齐后的分布再平均。
• 流畅性感知路由：在自回归生成中，每一步评估各模型候选 token 在上下文中的流畅性（如通过语言模型困惑度或 n-gram 概率），动态分配权重或选择最优 token，避免平均操作引入不自然的文本。
• 上下文重同步：当不同模型因 token 化差异导致生成的 token 序列边界错位时，通过回溯和调整上下文窗口，使集成过程保持内在一致性，防止语义断裂。

输出与检测抑制

经线性集成生成的文本，其水印检测 z-score 从原始 5–300 降至 2 以下（低于检测阈值 4），TPR@5%FPR 降至 50% 以下，同时生成质量提升 27.5%，长序列生成速度比最佳基线快 6 倍。

与同类方法的核心差异

不同于需要模型提供商协作或后处理文本改写的水印去除方法，WASH 仅需访问多个水印模型的 API 输出概率（黑盒访问），利用市场自然竞争带来的扰动独立性，以极低成本实现“以水灭水”，揭示了水印机制的根本脆弱性。

实验

实验设计

实验覆盖 6 种典型后门水印方案 和 3 个不同架构的大语言模型，评估用户在多模型环境中集成生成的“洗水印”效果。核心任务为长序列文本生成，对比 WASH（基于统计混合的集成框架）与现有水印移除基线。具体流程：

1. 从不同提供商获取带水印模型的输出概率分布；
2. 将各分布平均（线性集成），由 token 对齐与流水化路由 模块解决词汇表和分词差异；
3. 用生成的文本检测水印强度（z-score）、真阳率（TPR）及生成质量。

关键发现

• 水印近乎完全衰减：仅平均 3–5 个模型，检测 z-score 即从 5–300 降至 2 以下，远低于通用检测阈值 4，TPR@5%FPR 也随之降到 50% 以下，说明水印在统计意义上被抹除。
• 生成质量不降反升：集成后文本质量（自动评估指标）相对单模型水印方案平均提升 27.5%，且因无需对抗性改写，语义完整性保持良好。
• 效率占优：在长序列生成中，WASH 速度是之前最强基线的 6 倍，适于实时场景。

与基线对比

传统水印移除方法依赖文本级改写或对抗扰动，会劣化语义并产生额外推理开销。WASH 仅需聚合输出分布，无需训练或反向传播，理论上证明误差仅为二阶项。实用层面，它解决了异构模型间词汇不对齐与分词不一致问题，使任意模型组合即插即用。这一廉价攻击暴露了单独依赖输出分布扰动进行水印检测的根本脆弱性：当下多模型访问已是常态，除非全行业统一水印策略，否则鲁棒检测几乎不可能。

行业影响

落地场景

水印是当前主流 AI 生成文本检测方案之一，被电商内容审核、学术诚信检测、新闻真实性验证、社交媒体假信息过滤等场景采纳。本研究表明，用户只需聚合 3-5 个 不同提供商的 LLM 输出，即可将水印信号压制到检测阈值以下，使现有检测机制失效。因此，任何依赖单模型水印进行判定的业务 均面临严峻挑战：例如在线写作辅助平台若需要确认内容是否由 AI 辅助生成，攻击者可轻易绕过；教育技术产品对作业进行 AI 相似度筛查时，水印可能被集成攻击消除。

商业价值

• 对检测服务商：现有水印检测产品需重构，增加多模型集成检测能力，或转向与水印独立的检测策略（如元数据、流量模式分析），短期带来研发成本上升，长期可能催生新一代鲁棒检测 API。
• 对模型与平台提供商：若水印作为合规或品牌差异化卖点（如“可溯源 AI”），本漏洞显著削弱其价值。提供商要么接受水印不可靠的现实，要么推进前所未有的行业协作，统一扰动方向与检测协议，这或将重塑商业模式——从单打独斗转向联盟化。
• 对生成任务本身：WASH 方法在降噪的同时提升生成质量 27.5% 且提速 6 倍，可用于客户服务、自动化报告等高频生成场景，同时降低推理成本，创造降本增效的直接收益。

与现有产品 / 工作流的集成

现有的 AI 文本检测管线通常串联一个水印解码器。集成该防御型攻击的应对方案需要：

1. 在检测侧，引入多源概率分布比对模块，监控输入文本的 token 分布是否呈现集成平均特征；
2. 在生成侧，若模型供应商希望防御此类攻击，需在自身水印中嵌入跨模型相关性，或采用非叠加式水印。 WASH 方法本身可嵌入生成式 AI 平台（如 GPT-as-a-Service）的解码策略层，通过 Union-based Ensemble 跨模型融合输出，直接改善长文生成的质量与延迟。

具体用例

在线教育平台（学术诚信）
学生使用多个免费 LLM（如 Llama 系列、Mistral 等）生成作业文本，通过集成平均水印信号消失，提交后平台的水印检测分数降至阈值以下，导致误判为人类所写。平台需升级检测策略，例如结合写作风格一致性模型、编辑过程日志 等辅助信号，而不能仅依赖水印。

全球社交媒体内容审核
为遏制虚假信息，平台对 AI 生成内容施加“水印标记”。恶意账号运营者采用 WASH 类似方法混合多个模型输出，使水印标记失效，进而大量发布难以追溯的煽动性内容。平台方宜部署集成文本检测器，同时利用发布频率、账号行为等多模态风控信号作为替代，并推动厂商协作制定统一水印协议。

局限

• **水印扰动独立性假设偏强**：论文理论证明和实验均建立在不同模型供应商的水印扰动是独立且随机的这一假设上。现实中，若多家供应商采用相似的水印算法或有意协调，扰动相关性会上升，线性平均可能无法完全抵消水印信号。论文也承认，实现鲁棒检测需要‘前所未有的供应商协调’，但这在当前市场不现实，因此攻击的实际普遍性可能被高估，威胁模型的适用范围需要更谨慎的界定。
• **实验覆盖范围有限**：实验仅测试了六种常见的水印方案（如 KGW、Aar 等）和三个 LLM（Llama、Mistral 等），未涉及基于语义的水印（如 SRL-style）或更复杂的多比特水印。此外，对于针对采样鲁棒性设计的强水印（如 Unigram 水印），线性平均的抵消效果可能下降，论文未深入分析。因此，结论的泛化性有待进一步验证，在更广泛的水印生态中可能存在盲点。
• **多模型集成的实际开销**：WASH 方法需要同时查询多个模型 API 并进行词汇对齐与路由处理，虽然论文声称比最好基线快 6 倍，但相比单模型生成仍引入了额外延迟和计算成本。在生产环境中，跨供应商的模型异构性（如完全不同的分词器）可能使词汇映射和上下文重同步变得复杂，影响生成质量与速度。这种集成生成的方式对实时应用或受限设备可能不够友好，实用性受限。