Split-LLM 训练中的隐私失败：返回的梯度使诱饵失效

TL;DR split-LLM 训练中返回梯度零模式使 decoy 失效，可泄露真实行并恢复 token，即使裁剪加噪也未完全封堵，现有隐私检查存在盲区。

问题

问题背景

大规模模型训练趋向分布式与数据隔离：split-LLM 将模型切分为本地可信节点 TLN 与云端不可信节点 UCN，私有损失只驻留本地。当前领域关注如何在不可信云端完成部分计算的同时，通过 decoys（诱饵行）、梯度裁剪、差分隐私噪声等手段保护训练样本的行级隐私，并以隐私审计证明安全性。

现有方法局限

多数 split-LLM 隐私评估只覆盖前向 activation 信道，忽略 TLN 返回给 UCN 的输出梯度信道。使用 decoy rows 时，损失函数对 decoy 行置零，导致对应梯度精确为零；零值稀疏模式以确定性方式标记真实行，使混淆机制失效。此外，现有审计指标未与已知泄漏校准，洗牌标签控制不足，阈值未预设，容易在指标不一致情况下误报“通过”。论文证明：在模型质量可接受的预算内，该泄漏仍存在；逐行梯度裁剪与加噪虽关闭单帧指标（代价约 0.01 nats held-out cross-entropy），但未覆盖跨训练步累积观测等五类攻击。

为什么难/重要

split-LLM 的隐私边界涉及双方梯度交互，攻击者可同时利用结构元数据（零行位置）与内容信息（token 推断），且零梯度信号不需统计近似，单帧即可完整识别。这类侧信道比典型梯度反演更隐蔽，因为审计工具通常只检测可微损失通道。业界对多节点训练的数据合规和商密保护关注度持续上升，隐私评估若只测“已声明通道”，会系统性漏掉未声明但可观测的通道。

行业类比

类似联邦学习或跨机构 split inference 场景：只审计特征前向传输、忽略反向梯度，就像匿名化 API 响应却通过错误码或时间戳泄露用户身份。

核心洞察

• 本文揭示了一个被忽视的隐私侧信道：在 decoy 行混合的 split-LLM 训练中，由于损失函数忽略 decoy 行，其返回梯度对应位置精确为零，零值模式直接暴露真实数据行身份。这个角度独特在于，以往对 split learning 的攻击多集中在前向激活泄漏或梯度幅度/方向中的内容信息，而作者指出结构元数据（哪些行是 decoy）本身就是一种完全泄漏，且不需要复杂的梯度反演，仅通过阈值判断零模式即可实现 100% 识别。这改变了对 decoy 防御有效性的认知，因为它假设 decoy 与真实行不可区分，但梯度零值打破了这一假设。
• 本文提出了一种审计隐私协议的校准方法论：不是笼统声称泄漏存在，而是预先固定阈值、注入已知强度泄漏作为阳性对照、使用 shuffled-label 对照证明不会虚报，然后度量真实泄漏。这独特地解决了隐私评估中的‘仪器能否看见’和‘是否报告不存在泄漏’两个基础问题，使结果具有可复现的定量可靠性。对照同类工作，许多攻击研究仅展示成功案例而缺乏严格校准，本文的协议揭示了即使前向通道隐私检查通过，返回梯度通道仍导致所有运行失败，凸显了按通道分别评估的必要性。

方法

输入与系统设定

两节点 split-LLM 训练中, Trusted Local Node (TLN) 将受保护激活发送给 Untrusted Cloud Node (UCN), UCN 返回输出后, TLN 计算私有损失并返回输出梯度。关键在于: UCN 收到的帧混合真实行 与诱饵行, 损失只作用于真实行, 导致诱饵行梯度恒为零。

测量协议与校准

作者预先固定评估协议, 包含三类校准:

• 正控制: 注入已知强度的泄露, 证明检测仪器能捕捉到该泄露。
• 负控制: 打乱标签, 证明仪器不会在无泄露时误报。
• 固定阈值: 运行前设定判断标准, 避免事后选择。

结构性泄露与内容攻击

在九个随机种子上, 每个帧中零梯度模式完全识别出真实行 (4096/4096)。基于帧内容的内容攻击在常量猜测基线上每百 token 多恢复约 1 个 token (+0.65 至 +1.50 个百分点); 打乱对照组恢复为零。进一步在保持模型质量预算的配置上重复验证, 确认泄露并非只存在于不切实际的设置。

缓解与残余风险

对每行梯度施加裁剪 与噪声, 可在约 0.01 nats 的 held-out 交叉熵代价下关闭该泄露, 但系统仍不安全: 五类攻击 (含跨训练步骤累积观察) 未被测量。

跟同类方法的差异点在于: 该方法将此前隐私审计中忽略的返回梯度通道 纳入预注册协议, 通过正负控制和固定阈值严格量化泄露, 而非仅做事后分析。

实验

实验设计

系统为两节点 split-LLM 训练：Trusted Local Node (TLN) 发送受保护激活到 Untrusted Cloud Node (UCN)，UCN 返回输出，TLN 持有私有损失并返回输出梯度。UCN 接收的 frame 混合真实行与 decoy 行，loss 忽略 decoy，因此 decoy 梯度精确为零。实验协议预先固定：注入已知强度泄漏作为正控制，shuffled label 作为负控制，阈值事先设定。跨 9 个种子，每次 run 含 4096 行；另有第二组实验在可部署配置（模型质量在预算内）上重复。

关键发现

零梯度模式暴露真实行：9 个种子每个 frame 全部识别，4096 / 4096 行/run。内容攻击在常数猜测 baseline 之上恢复约每百 token 多一个 token，增益为 +0.65 ~ +1.50 个百分点；shuffled 控制恢复为零。仅看 forward-channel 隐私检查与质量检查均通过，但加入返回梯度后同一检查即失败。行级裁剪与加噪缓解可关闭该泄漏，代价约 +0.01 nats 的 held-out cross-entropy。

基线与工程启示

该泄漏源于 decoy 设计：decoy 梯度不是低而是精确为零，形成结构性侧信道，forward-channel 审计无法覆盖。与 差分隐私审计 谱系一致，验证必须纳入返回梯度等所有可观测通道。工程上需对每个可观测信道做正、负控制校准；行级噪声能关闭当前已测泄漏，但未覆盖跨训练步累积观测等攻击，不能视为安全。

行业影响

落地场景

该研究揭示的漏洞直接影响所有采用 split-LLM 架构进行隐私保护训练的产品与业务，例如：

• 医疗影像协作：多家医院联合训练病理报告生成模型，使用 split learning 保护患者数据。返回梯度泄露真实行身份，攻击者可推断哪些记录属于特定患者或机构。
• 金融反欺诈：银行间联合训练交易序列异常检测模型，梯度模式泄露可暴露真实交易记录，甚至恢复 token 片段（如账户标识）。
• 企业多租户 LLM 微调：SaaS 平台为不同客户提供隔离的 LLM 微调服务，若采用 split-LLM 保护租户数据，同样面临真实样本泄露风险。

商业价值

• 降本：修复成本极低。对每行梯度进行裁剪并添加噪声仅牺牲约 0.01 nats held-out cross-entropy，模型质量几乎无损，无需大幅增加训练时长或算力。
• 增收与信任：通过更严格的隐私审计可避免潜在数据泄露引发的合规罚款（如 GDPR、HIPAA）与声誉损失；同时可作为差异化卖点，进入医疗、金融等强监管行业，扩大市场空间。

与现有产品/工作流的接口

• 集成点：在现有 split learning 框架（如 PySyft、FedML 或自定义分布式训练栈）中，于 Trusted Local Node (TLN) 返回梯度前插入逐行梯度裁剪与高斯噪声模块。同时，隐私评估流程需新增返回梯度通道的测试指标，包括零梯度模式检测、token 恢复攻击模拟。
• 审计升级：更新隐私测试套件，加入 shuffled-label 控制和 known-leak 校准，确保评估能捕获此类结构性泄露，而不是仅检查 forward-channel 激活保护。

具体 use case：

1. 医疗影像多中心训练：使用 split-LLM 训练放射报告自动生成模型，各中心数据不出域。传统方案泄露真实样本身份，实施梯度裁剪+噪声后，可通过隐私审计且模型性能下降可忽略，使多家医院愿意共享模型能力。
2. 跨机构金融风控：银行联合训练反洗钱检测模型，split learning 保护各银行原始交易序列。该漏洞允许攻击者识别哪些交易来自哪个银行，甚至恢复部分账户 token。修复后可满足监管要求，推动行业合作。

局限

• **评估范围有限**：论文仅评估了特定的 two-node split-LLM 训练配置，其中 TLN 向 UCN 发送 protected activations 并返回 output gradient。作者明确承认未测试五类攻击（尤其跨训练步骤累积观测的攻击），因此无法证明该系统在更广泛威胁模型下的安全性。实验使用的模型规模、数据集数量有限（仅两个数据集），可能未覆盖真实部署中的架构多样性与数据分布，结论的普适性存疑。
• **防御措施不完备**：作者提出的梯度裁剪与加噪虽能关闭当前泄漏，但代价约为 0.01 nats 的 held-out cross-entropy，且论文明确表示“系统并不因此安全”。该防御仅针对当前已发现的零梯度模式泄漏，未验证对其它潜在攻击（如时序累积、模型逆向）的有效性。此外，论文未分析该防御对模型收敛速度、最终性能的长期影响，也未与已有差分隐私或安全多方计算等防御方案进行对比。
• **攻击实用性有限**：内容恢复攻击仅比常量猜测基线每百 token 多恢复约 1 个 token（+0.65 到 +1.50 个百分点），增益幅度较小，实际隐私威胁可能有限。攻击强烈依赖 decoy 行梯度恰好为零这一特定条件，若系统改变损失设计（如 soft decoy 或噪声注入），该泄漏通道可能消失。与已有的 split learning 攻击（如梯度反演、特征推理）相比，本文更侧重于揭示漏洞存在，而非提供高精度攻击工具，其方法在复杂对抗环境下的可扩展性和鲁棒性未经验证。