Computer Science Conferences Should Require Nonrepudiable Experimental Results

TL;DR 提出“实验不可否认性”概念，要求论文结果必须附带密码学签名证明，确保实验真实执行且无法事后否认，并给出参考实现 K-Veritas，推动建立可验证的研究标准。

问题

当前 AI 会议普遍要求结果可复现，但可复现性 (reproducibility) 的承诺往往仅停留在代码公开、数据提交流程等自述性手段上。作者可随意修改或否认实验中产生的数字，审稿人无法确定论文声称的代码是否真的产生了论文报告的数据——这就是作者定义的实验不可抵赖性 (experiment nonrepudiation) 问题。

现有方法局限

• 自报检查清单 (self-reported checklists)：依赖作者诚信，无技术手段强制绑定计算与输出。
• 可选代码共享 (optional code sharing)：审稿人难以复现完整环境，且代码可能被“精心修剪”以隐藏实际执行路径。
• 作者控制的日志 (author-controlled logging)：日志可被修改或伪造，无法作为第三方可验证的证据。

上述方法均未解决根本信任缺口：“论文中的数字是否确实来自所描述的代码执行？” 因为它们缺乏密码学强度、不可篡改的绑定机制，攻击者能轻易绕过（例如只公开精心挑选的成功运行日志）。

为什么这个问题重要且困难

• 安全属性：协议需保证输出与计算绑定的完整性 (integrity)，同时防止作者事后否认 (nonrepudiation)，且不应要求审稿方访问敏感训练数据。
• 威胁模型：现有方法无法抵御的攻击包括 —— 作者只报告最佳运行结果而隐藏大量失败尝试、动态替换代码路径、伪造运行环境等。这需要在不泄露训练数据的前提下，以密码学证明某个代码版本在某个时间点产生了特定的指标值。
• 业界关注度：ML 领域近年来曝出大量数据泄露 (data leakage)、结果不可复现丑闻 (Kapoor & Narayanan 2022)，削弱了学术基准的可信度，工业界对模型审计的不可抵赖性需求也在上升。

类比：就像金融审计中需要密码学安全的时间戳文档来证明交易发生过，AI 实验也需要防篡改的执行证明，以防止“结果漂移”或事后修改。这种需求在敏感模型评估（如医疗诊断 AI 或对抗攻击防御）中尤为关键，可避免因不可信的实验报告导致错误技术栈选型。

核心洞察

• 实验不可否认性（Experiment Nonrepudiation）将安全领域的不可抵赖概念引入科研验证，从根源上区分“可复现”与“可伪造”。 不同于鼓励代码共享或依赖作者自我声明的现有做法，该方案通过密码学证明将论文中的数字与一次实际执行的计算强制绑定，使作者无法事后否认或篡改。这直接针对当前系统中“审稿人无法核验代码是否真正产生了论文中的数字”这一盲点，把信任从个人道德转移到可验证的证据上，为构建系统性的科研诚信基础设施提供了新范式。
• K-Veritas 参考实现证明，无需访问训练数据即可生成签名化的实验证明，在数据隐私与不可否认性之间取得平衡。 这对工业界或处理敏感数据的研究场景尤为关键——现有可复现性措施往往要求公开数据集或完整环境，而 K-Veritas 通过仅对执行过程和输出进行认证，既保护了数据资产，又提供了第三方可验证的完整性证据，消除了合规顾虑，降低了推行不可否认性要求的阻力。

方法

K-Veritas 通过 实验执行证明链 实现结果不可否认性，整体流程如下：

输入

• 实验代码与配置：包含训练脚本、模型定义、超参数等。
• 执行环境元数据：OS、库版本、硬件指纹等，但不包含原始训练数据。
• 目标结果数值：即论文中报告的指标（如准确率、损失曲线）。

关键模块

1. 确定性执行记录器
   在代码运行时自动捕获程序执行路径、随机种子、数据加载顺序等非数据依赖项，生成 计算图哈希 和 执行轨迹。核心技巧是注入 K-Veritas 代理，无需修改用户代码即可拦截关键操作。

2. 环境特征提取器
   收集容器或虚拟机的镜像摘要、依赖版本快照，构建 可重现环境声明，并与执行记录绑定。

3. 声明绑定与签名引擎
   将目标数值、计算图哈希、环境声明组合为 JSON 声明文档，使用作者私钥签名，生成 不可否认证明。签名算法基于 Ed25519，防止事后篡改或否认。

输出

一个 签名证明包（.kveritas 文件），包含：

• 结果数值与对应的计算指纹
• 环境指纹
• 时间戳
• 作者数字签名

评审者或自动化工具可离线验证：校验签名、比对哈希、检查执行步骤是否与论文描述一致，而 无需访问训练数据。

与现有方法的区别

不同于 自报告清单（依赖作者诚信）或 代码开源（无法保证代码真实运行过），K-Veritas 直接锚定实际执行过程，将“这个数字是否由该代码产生”转化为一个可密码验证的问题，且不依赖中心化信任机构。

实验

这篇立场论文没有进行传统的实验评测，而是通过威胁模型分析和参考实现 K-Veritas 论证了实验不可否认性的必要性与可行性。

实验设计思路

作者首先形式化定义了 实验不可否认性 (experiment nonrepudiation)：论文中的数字必须通过密码学方式绑定到实际执行的计算，使作者无法事后篡改或否认。威胁模型涵盖仅靠代码开源、自查清单无法防止的攻击，例如修改日志而不重跑实验、选择性报告最佳结果或环境差异导致的不可复现。

K-Veritas 参考实现

为证明该问题可解，作者构建了 K-Veritas，一个用 Go 编写的协议，对工作流关键步骤（代码哈希、参数、输出）签名，生成不可否认的验证报告，且无需访问原始训练数据。K-Veritas 是概念验证测试平台，展示了在低负担下实现不可否认性的技术路径。

与现有方法对比

• 代码与数据公开：虽能重现，但无法保证论文数字就是公开代码产生；作者可能运行不同代码或筛选结果。
• 预注册 (preregistration)：仅固定分析计划，无法阻止执行阶段的操纵。
• 自查清单：依赖作者诚信，无技术强制。
• K-Veritas：通过密码学签名实现不可否认的绑定，技术上防篡改，即使作者自身也无法抵赖，且可设计为去中心化验证。

因此，K-Veritas 提供了比现有方法更强的安全保证，但其制度化需要会议和社区的共同努力。

行业影响

落地场景：从论文评审到生产环境的信任锚点

这篇论文提出的 实验不可否认性（Experiment Nonrepudiation） 机制，核心是将论文中的数字与一次真实执行的计算进行密码学绑定，使其无法被作者事后篡改或否认。这一思路可直接移植到工业界对 AI 模型评估与合规性审计 的场景：

• 模型审计与监管报告：金融风控、医疗诊断、自动驾驶等高风险领域，模型上线前须向监管方提交性能指标（AUC、召回率等）。通过不可否认的评估报告，可确保证据确由特定代码与数据生成，而非人工修饰。
• AI 竞赛与排行榜防作弊：类似 Kaggle 的竞赛平台，要求选手提交的非仅测试集预测，而是带签名的完整评估记录，杜绝选择最优运行等作弊手段。
• 内部实验追溯：大型企业研发团队中，实验记录常散落各处，不可否认性可强制将每次训练运行与结果声明锁定，防止“事后挑好的结果”汇报。

商业价值：降低信任成本，强化合规防线

• 降本：自动化验证取代人工抽查实验代码与日志，减少合规审查人力开销。同时，避免因模型表现不实导致的错误部署和回滚成本。
• 增收：通过增强模型结果可信度，提升客户（尤其 B2B 服务中甲方）对 AI 产品的采购意愿，或使模型产品更易通过第三方认证，打开监管严格的市场。
• 体验提升：提供可验证的模型性能背书，让下游业务方（如风控策略人员）能独立验证指标真实性，消除沟通歧义。

与现有产品/工作流的接口：可插拔的签名报告层

当前 ML 实验管理栈（如 MLflow、Weights & Biases）已能记录代码、参数、指标，但缺乏防篡改与不可否认性。K-Veritas 类工具可作为轻量级 sidecar：

1. 训练或评估完成后，调用 CLI 或 API 生成签名报告，包含输入文件哈希、执行环境摘要及关键指标。
2. 报告存入实验数据库，同时将签名上传到公开日志或联盟链，实现长期可验证。
3. 审阅者（或自动化 CI 流程）使用独立客户端验证签名与内容的完整性。

这种集成不改变现有训练流程，可将 attestation 步骤嵌入 CI/CD pipeline 中作为质量门禁，自然贴合 MLOps 实践。

具体落地 Use Case

1. 金融交易风控模型上线审核：某银行反欺诈模型更新后，监管要求提供模型在近三个月交易数据上的准确率、误报率。采用不可否认性方案，风控团队运行标准化评估脚本，工具自动打包脚本哈希、数据哈希（数据可不泄露，仅哈希）和指标结果，签名后存档。审查时审计人员直接验证哈希链，确认指标来自指定版本代码与数据，消除模型方与监管间的信任间隙。
2. 自动驾驶感知模型合作伙伴验收：一家 Tier 1 供应商向主机厂交付行人检测模型。合同中定义好测试数据集与指标阈值。验收时，供应商运行评估工具生成不可否认报告，主机厂无需访问训练数据或完整测试集（仅需部分哈希校验），即可确信供应商报出的 mAP 值真实，加速商务流程并减少争议。

局限

• **测试平台而非生产系统，覆盖范围受限**：论文明确将 K-Veritas 定位为 testbed，当前实现仅能对不涉及训练数据的实验生成签名报告，无法直接处理需要保密训练集、分布式训练或复杂管道的场景。这限制了其在会议真实投稿中的直接应用，因为许多 ML 实验依赖于不可公开的私有数据或超大规模基础设施，现有设计尚不能覆盖这类常见情形。
• **无法彻底杜绝恶意绕过**：作者在文末“Alternative Views”中承认，动机强烈的作弊者仍可能找到变通方法，例如在签名生成前篡改日志、伪造计算环境或使用离线计算替换实际输出。这表明仅靠技术手段难以实现完全不可否认性，实际部署时仍需与机构审查、随机抽查等非技术措施结合，否则可能陷入“军备竞赛”困境。
• **中心化认证服务器引入信任集中风险**：方案依赖于一个中心化的认证服务器（attestation server）来签发不可否认的报告，作者也意识到这可能让该服务器获得过大的科学合法性裁定权，成为单点故障或权力滥用的来源。如何设计去中心化、联邦式或基于可信硬件的替代方案以降低信任门槛，是后续走向实际标准需解决的关键问题。