超越数学和代码的可验证奖励：面向事实问答的轻量级语料库驱动过程监督

TL;DR CorVer 用维基百科共现统计替代昂贵神经验证器，提供高效句子级过程奖励，在事实性问答中全面提分且训练快 4.8–8.4 倍。

问题

在 知识密集型问答 的事实准确性提升中，强化学习 (RL) 的奖励设计面临粒度困境：响应级奖励 (outcome-level) 无法区分推理链中正确与错误的中间陈述，导致稀疏且粗糙的监督；句子级奖励 (sentence-level) 虽能提供细粒度反馈，但目前主流方案依赖 NLI 验证器、LLM 法官 或 知识验证管道，这些组件计算昂贵，难以在 RL 大规模采样中高效部署，且对 稀有实体事实 的准确性尤为不可靠。

现有方法的局限具体表现为：神经验证器每句需要多次大模型前向推理，训练速度慢（实验中 4.8–8.4× 慢于新方法），且由于训练数据偏差，它们对长尾知识的判断容易产生幻觉奖励，误导策略优化。同时，基于检索或 KG 的管道需要维护外部知识库和索引，增加了工程复杂度与推理延迟。这些瓶颈使得句子级过程监督虽在理论上更优，但在实践中常因成本与不可靠性而难以落地。

该问题的核心挑战在于：事实准确性是知识 QA 的生命线，RL 需要密集、可扩展的奖励信号来引导模型区分可信与不可信陈述，但精确的事实验证本身就是一个知识密集型任务。如何在不引入昂贵神经组件的前提下，提供低延迟、高准确率、对罕见实体鲁棒的过程奖励，是当前研究的一个关键矛盾。业界对此高度关注，因为一旦突破，将极大降低 RL 微调的成本，推动更可靠 QA 系统的快速迭代。

行业类比：这如同在 自动驾驶 中，我们希望用车载低成本传感器（如摄像头 + 轻量算法）实现实时车道级反馈，而非始终依赖高精度地图与云端实时处理——后者虽精确但昂贵、易受偏远区域覆盖不足影响。

核心洞察

• 过程奖励信号可从语料库统计直接构建，无需昂贵神经验证器。CorVer 利用 Wikipedia 共现频率判别句子级事实正确性，对比依赖 NLI、LLM judge 或知识图谱的基线，在 30 个 QA 配置中全面领先，训练速度提升 4.8–8.4 倍，且对罕见实体事实更可靠，为 RL 事实对齐提供了低成本、可扩展的新范式。
• 句子级奖励与 token 级优势的简单对齐策略，在不引入复杂奖励模型的情况下实现了细粒度信用分配。与完整 token 级奖励或仅结果级奖励不同，CorVer 仅需一次 lookup 和 min 聚合，既保留了过程监督的修正能力，又避免了高额推理开销，是工程落地的最佳平衡点。
• 该方法表现出跨模型尺度的稳健增益，尤其对 3B–14B 指令微调模型，在所有 30 个 (模型, 基准) 单元格中均超越原始基线，平均 TriviaQA 提升 +4.1pp。小模型无需 SFT 冷启动也能稳定训练，克服了 RL 在知识密集型任务中容易崩溃的难题，印证了轻量过程奖励对缩放 RL 训练的实际价值。

方法

CorVer 的方法流程遵循“输入 → 关键模块 → 输出”的结构：

输入与预处理

给定问题，模型生成多句自由文本回答。回答首先被切分为句子，每个句子送入一个轻量级 三元组提取器（0.5B 参数模型），抽取出 (头实体, 关系, 尾实体) 结构化三元组。

句子级共现奖励

对每个三元组，通过查询基于 Wikipedia 共现统计构建的索引（如 Infini-gram），获得头尾实体在指定窗口内的共现频率。该频率被映射为四档奖励值：高频共现得正分，低频得负分，零共现则受到强惩罚。映射曲线通过人工校验校准，确保对事实可靠性与稀有实体敏感。

句子级奖励由其中多个三元组的奖励聚合而成，CorVer 采用 关系感知降级聚合（对不同关系赋予不同权重，抑制不精确三元组的贡献），避免简单平均或最小值聚合引入的噪声。

Token 级优势对齐

每个句子的奖励通过简单对齐策略转化为 token 级信用：句子奖励被均匀分配给该句子的 token 序列，得到 token 奖励。实际 RL 训练中，结合响应级奖励（如答案正确性信号，基于格式化答案匹配），两者加权后作为 token 级优势，用于指导策略优化（如 GRPO）。

输出

最终输出是一组 token 级优势值，可直接用于标准 RL 训练流程，无需额外神经验证器。

与同类方法的差异：CorVer 用静态语料库共现统计取代 NLI 验证器、LLM 裁判或知识验证管线，避免了神经网络推理的昂贵成本与对稀有实体的不可靠性，训练速度比神经验证器基线快 4.8–8.4 倍，且能即插即用。

实验

实验设计

本研究在 6 个指令微调模型（规模从 3B 到 14B）与 5 个知识密集型 QA 基准（包含 TriviaQA 等）构成的 30 个 (模型, 基准) 单元上评测 CorVer。方法将 RL 过程奖励归结为一种与语料库对齐的句子级信号：利用一个 0.5B 参数的三元组提取器，从模型生成句抽取（主语, 关系, 宾语）结构，再查询 Wikipedia 共现统计，根据是否出现及关系类型将句子奖励划分为四个置信档；最终通过简单对齐将句子奖励映射为 token 级优势。基线设置包括完全不使用奖励的原始策略，以及四种代表性神经验证器：NLI 模型、LLM 裁判、知识核验管线。所有实验在相同 GRPO RL 框架下进行，训练提示与评估提示统一，最终使用字符串匹配严格评测答案事实准确性。

关键发现

• 全配置一致提升：在全部 30 个单元上 CorVer 相对 raw baseline 均带来准确率增益，平均 TriviaQA 提升 +4.1 pp，证明语料共现奖励能够提供稳定、可泛化的细粒度监督。
• 效率优势显著：相比神经验证器基线，CorVer 的训练速度快 4.8–8.4 倍，且在 20 组可行配置中，18 组的事实准确率超越所有四个基线。依赖静态共现表的奖励计算无需昂贵的前向推理，使大规模 RL 成为可能。
• 奖励校准可靠：人工审计显示四档奖励对“完全正确”与“完全错误”句子的判别精度较高，校准曲线接近线性，表明粗粒度共现统计并未损失关键区分能力。

基线对比解读

传统句子级奖励面临两难：NLI 核验器对罕见实体事实经常给出不可靠信号，且推理成本随句子数线性增长；LLM 裁判虽然灵活，但调用开销高、易受提示波动影响，在 RL 尺度下难以承受。知识核验管线需要额外知识库查询，部署复杂。CorVer 用静态的 Wikipedia co-occurrence 替换所有神经组件，将信号生产简化为一次语料查询，既避免了模型幻觉，又在长尾实体上提供了更一致的奖励。这为需要事实性提升的 RL 流程提供了一种 即插即用、训练高效 的过程监督方案，也启示后续工作可将语料统计信号引入更多知识任务。

行业影响

落地场景

CorVer 为知识密集型问答的事实性增强提供了一种低成本、高效率的方案，适用于任何对答案准确性有严格要求的 LLM 应用。典型场景包括：

• 智能客服与知识库：回答产品政策、技术手册、合同条款等封闭域事实问题，需避免幻觉。
• 医疗与法律信息助手：辅助检索和归纳循证医学证据、法律条文，要求逐句可验证。
• 教育辅导与内容审核：对历史事件、科学概念的解释进行事实核查，提供细粒度反馈。
• 搜索引擎与摘要生成：改善 AI 生成的摘要片段的事实一致性，尤其是对罕见实体问题的覆盖。

CorVer 仅依赖维基百科共现统计和 0.5B 参数的三元组提取器，计算开销极低，特别适合对延迟敏感或计算预算有限的在线服务。

商业价值

企业可同时获得降本与提质的双重收益：

• 训练成本大幅降低：相比使用 NLI 模型或 LLM 法官作为奖励模型，CorVer 将单次奖励计算时间缩短 4.8–8.4 倍，在同等算力下可执行更多 RL 迭代或支持更频繁的模型更新，加速产品迭代周期。
• 事实准确率提升：在 TriviaQA 等基准上平均提升 +4.1 pp，直接减少错误回答带来的用户投诉、信誉损失和法律风险。对于电商、金融等客户信任敏感领域，正确率的微小提升即可转化为显著的客户留存与增收。
• 用户体验改善：句子级反馈使模型能生成更连贯、更有证据支撑的回答，避免“前半句正确、后半句谬误”的情况，提升答案可信度。

与现有产品/工作流的接口

CorVer 的设计强调 plug-in-ready，可无缝嵌入现有 RLHF/GRPO 训练管道：

• 替换验证器后端：目前多数流程使用 LLM 法官（如 GPT-4）或 NLI 模型作为奖励信号。只需将奖励计算模块替换为 CorVer 的.reward()调用，传入三元组提取器与预先构建的维基百科共现索引即可。
• 兼容主流 RL 框架：与 HuggingFace TRL、Deepspeed Chat、OpenRLHF 等环境兼容，支持 GRPO、PPO 等算法。训练超参数和格式约束可沿用原有设置。
• 数据准备简单：仅需一份通用语料索引（如作者提供的 Infini-gram 维基百科索引），无需针对特定领域标注数据，可快速迁移至不同业务场景。对于封闭域应用，还可替换为企业内部文档索引，进一步提升奖励信号与业务事实的一致性。

具体落地用例

1. 跨国电商平台的多语种商品问答：用户询问“这款手机是否支持无线充电？”，答案需精确并随产品迭代更新。用 CorVer 对当前客服 LLM 进行轻量 RL 微调，每次产品信息变更时只需更新索引（无需重新训练验证器），低成本保持高事实准确率。实验显示 CorVer 在罕见实体词上的表现尤为稳健，适合长尾商品库。

2. 医疗文献摘要辅助系统：辅助医生从最新论文中提取结论时，模型需保证每条陈述均有文献依据。将系统摘要与原始文献逐句对齐，CorVer 的句子级反馈可训练模型仅生成有语料支持的陈述，减少“无依据推断”。训练速度优势支持频繁纳入新文献，保持知识时效性。

局限

• **依赖 Wikipedia 覆盖度与共现信号粒度** CorVer 的句子级奖励源于 Wikipedia 词级共现统计，对 Wikipedia 中未收录或覆盖率低的稀有实体 / 新兴知识容易产生噪声信号；共现窗口大小及三元组提取（triplet extractor）质量直接影响奖励校准，但论文在正文中未讨论不同领域语料的泛化，实际部署时可能需要针对特定知识库重建索引，限制了开箱即用的迁移性。
• **实验规模与任务多样性有限** 工作仅在 3B–14B 指令微调模型上验证，且 QA 基准多为短答案事实型（TriviaQA、Natural Questions 等），未测试更大模型（如 70B+）或需要多步推理、长文本生成的场景（如长篇事实陈述、多文档综合）。结论在更复杂的推理链或强模型上的可扩展性存疑，且附录虽提及 self-filter 和数据配比，但未分析不同难度比例下的鲁棒性。
• **Token 级对齐为简化近似，过程监督粒度可能损失** 奖励本质是句子级，通过均匀对齐映射为 token 级 advantage（A.2 节简单均分），忽略句子内部不同词对事实性的贡献差异，可能削弱细粒度反馈效果。与真正的 token 级过程奖励（如基于 LM 判断的标签）相比，其理论精度上限更低；虽然降低了成本，但在需要精准定位错误 token 的任务中可能效果不足。