来源识别不是适配度测试：衡量合成数据归因的边界

TL;DR 源头归属在改写后从 98.7% 跌至 29.0%，但生成-人类检测仍近完美；递归训练中源头选择与参考模型评分无稳定差异，证明“数据来源”与“数据可用性”是分离问题。

问题

问题背景

递归训练模型生成数据会导致模型退化（model collapse），合成数据的 provenance 被提出作为筛选手段。但目前缺乏将 来源识别 与 数据质量评估 解耦的系统研究。

现有方法局限

• 现有 生成文本溯源 在原始生成文本上可达到 98.7% 准确率，但对改写文本（paraphrasing 53.1%、style rewriting 29.0%）退化严重，说明源识别特征脆弱，无法泛化到数据增强场景。
• 即使溯源成功，来源身份 并不等同于 数据有用性：来自优质模型的样本未必适合当前训练目标，基于 provenance 的筛选规则与基于参考模型分数的规则选择了不同示例，但实验中均未带来稳定的退化差异，说明这些 proxy 都不可靠。
• 生成 vs 人类检测虽然接近完美，但只能判断来源是否为模型，无法指导选择哪些生成样本更有利于递归训练。

为什么难/重要

改写会造成 特征破坏，使得依赖表面统计特征的溯源模型失效；递归训练中的误差累积使得每一轮筛选错误都可能影响后续模型。业界正在大规模使用合成数据，缺乏可靠的 fitness testing 方法比溯源本身更迫切。

行业类比

类似自动驾驶场景：知道某帧图像来自哪个传感器（provenance）并不能告诉你它是否适合加入训练集；你需要的是针对模型能力的质量度量。

核心洞察

• 来源识别与训练数据筛选是正交问题，不能依赖生成源来决定样本质量。该研究在金融风险文本上显示，原始生成文本的溯源准确率98.7%，但改写后骤降至53.1%和29.0%，而人机检测仍接近完美。这证明即使溯源可信，也不能等价于判断数据是否适合重训；与以往默认 provenance 可辅助数据选择的思路不同，实验将二者解耦，说明需要独立的 fitness 信号。
• 递归训练中基于来源和基于参考模型评分的样本选择在模型退化上无稳定差异，提示现有筛选准则可能未触及关键因素。两套规则选出不同示例，但三轮重训后性能退化无显著分离；这挑战了“好来源或高评分即好数据”的假设，并表明要预测递归训练长期行为，单一静态 criterion 代理不足，需要多轮验证和更细粒度的 fitness 度量。

方法

本文方法遵循“输入 → 关键模块 → 输出”的线索，将来源归因与数据筛选解耦评估。

输入与关键模块

1. 语料与源模型集：使用金融风险文本作为基础语料，训练多个生成模型作为候选“源模型”，每个源模型生成大量文本片段，构成归因任务的正样本集；另设一个人类写作对照集，用于生成文本检测。
2. 来源识别模型：训练判别式分类器，输入单条生成文本，输出其所属源模型的标签。该模块在原始文本上达到 98.7% 归因准确率，同时具备接近完美的人类/生成文本检测能力。
3. 改写与拒绝模块：对原始生成文本施加两类改写——paraphrasing 与 style rewriting，测试归因模型的鲁棒性；同时引入不确定性拒绝机制，当分类置信度低于阈值时拒绝判断，考察拒绝后准确率与覆盖率权衡。
4. 递归训练选择规则：在三轮生成-筛选-再训练循环中，比较两种筛选策略：
   • 来源信息筛选：基于来源归因结果挑选训练样本；
   • 参考模型打分筛选：使用独立参考模型对样本打分，按分数选择训练样本。

输出与评估

输出包括归因准确率、改写后归因下降幅度、拒绝曲线，以及递归训练后模型性能退化曲线的差异。最终结论是：来源识别准确率高不代表该来源标注能有效筛选训练数据，两个筛选规则选出的样本集合差异明显，但递归退化结果无稳定差异。

与同类方法的差异点

本文将来源身份识别、面向准则的筛选、递归训练结果三者显式分离，证明来源归因能力不能替代训练数据适用性评估，与既有多数仅聚焦归因精度或仅聚焦递归退化的研究不同。

实验

实验设计

• 使用 金融风险文本 作为语料，先测试生成器来源归属准确率，再在两种改写（复述、风格改写）条件下重测；同时测试生成 vs 人类检测。
• 递归训练实验 进行三轮生成与重训，对比两种数据选择规则：基于来源信息（provenance）与基于参考模型得分（criterion-facing proxy）。

关键发现

• 原始文本的生成器归属准确率为 98.7%，但复述后降至 53.1%，风格改写后仅 29.0%，表明改写严重破坏来源识别。
• 生成 vs 人类检测在测试集上接近完美，说明“判断是否生成”与“判断由哪个模型生成”是不同问题。
• 递归训练中两种选择规则选出的样本不同，但计划比较未检测到模型退化有稳定差异，证明 来源身份 与 训练适用性 相互分离。

与基线/同类工作差异及工程启示

• 以往工作常隐含假设来源信息可有效过滤生成数据，本工作通过改写实验量化了该假设的脆弱性；即使来源可识别，也不代表该数据对后续训练有益。
• 工程上，构建递归训练数据管道时，不宜仅依赖来源过滤或单一代理分数，需要更直接的样本适用性评估，并考虑数据变换/改写对溯源系统的攻击面。

行业影响

落地场景

合成数据溯源 可应用于 电商推荐系统、内容平台的内容审核、金融风控文本生成 等场景。例如，电商平台用多个生成模型扩充冷启动商品描述时，需要标记每条合成文本的生成源；金融风控模型训练时，需剔除改写后质量不稳定的合成样本。

论文表明，生成器归因 在原始文本上准确率达 98.7%，但经过 改写（paraphrasing / style rewriting）后骤降至 53.1% / 29.0%。这意味着溯源信号只适用于未改写的直接生成数据，不能单独作为改写后数据的筛选依据。

商业价值

核心价值在 降本 与 模型质量提升。通过识别并丢弃低价值或有害的合成数据，可减少无效训练算力消耗，避免模型退化带来的业务损失。但论文同时发现，基于溯源的选择与基于参考模型评分的 selection 在递归训练中未表现出稳定差异，说明溯源本身尚未证明能直接优化下游模型性能。

因此，商业上更现实的做法是：将溯源作为数据治理的辅助信号，而不是唯一的 fitness 指标。它帮助团队审计数据来源、满足合规要求，但不应过度承诺其提升模型效果的能力。

与现有产品 / 工作流的接口

在 MLOps / 数据流水线 中，溯源模型可作为 数据质量检查 stage 集成：

• 在数据入库前，对合成数据打上 source_id 标签，并记录 is_rewritten 状态。
• 将溯源结果与参考模型评分、人工抽检等信号并列存储在特征存储或数据版本管理工具（如 DVC、LakeFS）中。
• 训练任务启动时，可配置过滤策略，例如仅保留 source_id=high_quality 且 rewrite_flag=False 的样本。

这种集成无需改动现有训练框架，只需在数据预处理阶段增加一个 溯源推理模块，输出结果写入元数据。由于论文显示单靠溯源无法稳定区分数据好坏，建议将溯源模块设为 软过滤（降低采样权重）而非硬删除，以保留部分不确定样本供后续实验。

局限

• **实验语料单一**：研究仅在金融风险文本上开展，且生成与人类检测的对比集有限；不同领域（如代码、对话、医疗文本）的生成数据分布和退化模式可能差异巨大，结论的外部效度有待验证。
• **改写鲁棒性短板**：在释义和风格改写后，来源归因准确率从 98.7% 降至 53.1% 和 29.0%，说明当前方法对文本改写非常脆弱；论文未提出任何提升改写鲁棒性的技术，只是现象报告，工程落地价值受限。
• **递归训练设置有限**：递归实验仅进行三轮，模型规模和参数量未充分说明；选择规则只比较了来源信息和参考模型分数两种，且未检测到稳定差异，不能排除更复杂的选择策略（如强化学习、主动学习、课程学习）能带来改进。