WARP: 基于权重空间分析恢复训练数据组合

TL;DR WARP 从已发布模型权重直接恢复训练数据领域混合比，通过模型合并生成伪检查点，在权重空间捕获几何足迹，以 MAE 低至 0.046 的精度推断数据配方。

问题

问题背景

基础模型（foundation models）的能力高度依赖训练数据的领域混合比例（domain mixtures），但前沿模型的数据配方极少公开，导致研究者只能分析模型行为，无法获知训练分布，形成信息不对称。

现有方法局限

• 成员推断攻击（MIA）：仅能判断单个样本是否在训练集中，无法反推整体领域分布或混合权重。
• 训练轨迹依赖方法：若拥有完整检查点序列，可通过损失变化或梯度信息估计数据组成，但实际发布的模型通常只提供最终权重，此类方法直接失效。
• 基于模型行为的启发式探针：在特定领域测试集上评估性能来推测训练侧重，但受限于模型泛化能力和测试集偏差，难以给出精确的比例估计。

为什么这个问题难且重要

技术挑战：从单一模型权重向量反向推导训练数据的全局统计特征，本质上是欠定逆问题——权重空间极高维，而数据配方信息被高度压缩。需在不访问真实训练轨迹的情况下，模拟中间状态并提取与数据源相关的几何信号。

业界关注度：数据配方直接影响训练效率与最终能力，是模型开发的核心资产。缺乏审计手段会带来可复现性危机、偏见溯源困难和合规风险。各机构急需一种仅凭发布权重即可验证训练声明的技术。

行业类比

如同金融审计需要从公开财报反推公司经营状况，WARP 尝试从模型权重“数字指纹”中解码训练数据配方，为模型供应链透明度提供技术基础。

核心洞察

• WARP 从模型权重中恢复训练数据的全局域混合比例，突破了传统样本级成员推断的局限。过去方法仅能检测单个样本是否参与训练，无法刻画训练语料库的宏观组成，而领域配比直接影响模型能力与偏置。WARP 提供了一种模型发布后的数据配比推断新范式，填补了从个体到全局的分析空白。
• WARP 通过模型合并生成伪检查点模拟训练轨迹，提取权重空间中的几何足迹来映射域比例。这仅需基础模型与微调模型的发布权重，无需真实中间检查点或训练管道访问权限。相比依赖真实训练轨迹的变体，该方法更具实用性，为分析已发布模型的数据组成提供了可复现的技术路线。

方法

输入

WARP 仅需基础模型和微调模型的权重，无需访问原始训练数据或检查点轨迹。

关键模块

1. 模拟训练轨迹（Simulating the Training Trajectory）
   通过模型合并（model merging）在基础模型与微调模型之间进行线性插值，生成一系列伪检查点（pseudo-checkpoints）。这些伪检查点近似还原了缺失的训练中间状态，暴露出不同域数据在权重空间中的几何足迹（geometric footprint）。

2. 提取几何足迹（Distilling Geometric Footprints）

   • 样本对齐（Sample Alignment）：计算每个伪检查点对参考数据集中样本的梯度或输出变化，捕获域特有的权重更新方向。
   • 域级池化（Domain-level Pooling）：将样本级特征按域聚合，形成每个域的几何特征向量。

3. 从几何特征映射到域比例（Mapping from Geometry to Mixture）
   提供两种读出方式：

   • 无监督Softmax读出（Unsupervised Readout）：参数-free，直接对几何特征做softmax归一化估计域比例。
   • 有监督投影器（Supervised Projection）：训练一个轻量MLP投影器，使用合成混合数据学习从几何特征到域比例的映射。

输出

预测的域混合比例（domain mixture），即各数据源在训练中的采样占比。

与同类方法的差异

WARP 从权重空间全局视角推断训练数据组成，而非像成员推断（membership inference）那样仅能检测单样本是否被训练；即便与可访问真实训练轨迹的变体相比，WARP 仍能通过伪检查点取得更低 MAE（BERT 上 0.046，GPT-2 上 0.104），证明了模拟轨迹的有效性。

实验

实验设计

WARP 在 BERT 与 GPT-2 上进行受控实验：假设已获得基础模型与微调模型的权重，通过模型融合在两者之间线性插值生成伪检查点，模拟缺失的训练轨迹。对每个伪检查点，计算样本在权重空间的对齐分数（geometric footprint），并经过域级池化得到几何特征。最后通过两种映射方式恢复域混合比例：

• 无监督 Softmax Readout：基于对齐分数直接计算混合权重，无需训练。
• 有监督 MLP 投影器：在合成域混合物上训练一个小型 MLP，将几何特征映射到域比例。

关键发现

1. 高精度恢复：BERT 上平均 MAE 低至 0.046，GPT-2 上为 0.104，表明权重空间几何足迹包含丰富的训练分布信息。
2. 超越直观基线：WARP 的性能显著优于传统的成员推断方法（仅能检测样本级归属，无法估计全局分布），甚至优于直接使用真实训练轨迹生成的伪检查点变体。这说明模型融合生成的密集伪轨迹可能比真实稀疏检查点更有利于暴露数据组成足迹。
3. 映射方式稳健：无监督 readout 在大部分场景下表现良好，而 MLP 投影器在面对更复杂混合时能提供额外增益。

与基线对比的深度解读

与成员推断（membership inference）相比，WARP 从样本级提升到分布级推断，能够直接回答“模型使用了多少比例的代码/网页/学术文本”这类全局问题，这是传统方法无法做到的。

与具有真实训练轨迹的变体相比，WARP 的模拟伪检查点具有更密集的采样和完全的权重空间覆盖，避免了真实训练中因仅保存少数检查点而丢失的信息。这揭示了一个反直觉结果：对于推断数据混合而言，合成轨迹可能比真实轨迹更有用——因为它强制生成了覆盖整个微调过程的均匀中间状态，从而更容易提取出域信号的几何足迹。此发现为模型审计、数据版权追溯和训练透明度提供了新的技术路径。

行业影响

落地场景

WARP 可服务于模型审计、竞品分析与数据配比优化。在开放模型生态中，第三方可通过权重直接推断训练数据的领域混合比例，从而评估模型是否存在版权数据依赖、偏见来源或合规风险。对于企业级模型微调，研发团队可使用 WARP 分析成功模型的隐性数据配方，指导后续数据采集与混合策略，替代盲目的试错。

商业价值

• 降低训练成本：通过反推有效的数据配比，减少不必要的全量数据实验，平均每轮迭代可节省大量计算资源与标注成本。
• 合规避险：在发布模型前，自动检测是否过度依赖未授权数据源，避免法律纠纷。
• 市场情报：对竞争对手发布的开源模型进行成分分析，洞察其数据战略与业务重点，辅助商业决策。

与现有产品/工作流的接口

WARP 可封装为轻量级 SDK 或微服务，集成到 MLOps 管道 中的模型检查节点。具体接口包括：

• 输入：基础模型与待分析微调模型的权重文件
• 处理：自动生成伪检查点、提取几何足迹并执行投影映射
• 输出：各数据领域的预估占比向量 可与模型注册表（如 MLflow）、CI/CD 流水线结合，作为模型卡片自动生成的一部分，或嵌入到 模型公平性仪表盘 中，持续监控训练数据分布偏移。

具体用例

1. 内容平台推荐模型：某社交媒体平台定期微调其内容排序模型。利用 WARP 分析权重，可发现训练集中新闻、娱乐、教育等内容的占比演变，识别内容多样性退化风险，及时调整采样策略，避免信息茧房效应。
2. 医疗影像诊断模型：一个面向全球发布的皮肤病识别模型，监管机构可使用 WARP 推断其训练数据中不同种族、年龄组的图像比例，快速审计健康公平性，无需访问原始数据，保护隐私的同时实现技术问责。

局限

• 论文验证仅限BERT和GPT-2等小模型，未来需扩展到大语言模型，且当前需预定义候选域集合，实际部署中域边界模糊、变化频繁时适用性受限。投影器依赖合成混合数据训练，当真实混合与合成分布差异大时，映射精度可能下降，监督读头泛化能力尚未充分评估。
• 方法要求同时持有基模型和微调模型完整权重，并需为每个候选域训练对应的参考模型，计算与存储开销随域数量和模型规模线性增长。伪检查点通过线性插值模拟微调轨迹，但真实训练中不同数据域可能以非均匀、动态权重引入，且优化路径含噪声，几何足迹的保真度因此存在偏差。
• 相较于成员推理方法，WARP仅恢复宏观数据成分比例，无法判断单个样本是否参与训练，解决的是不同层面的问题。它需强先验（域集合与参考模型），而许多成员推理方法无此要求。同时，WARP未涉及训练数据顺序或重复率等信息，对训练配方的刻画尚不完整。