ICML 2026｜TikTok与NUS提出置信度门控奖励模型CAMEL
先轻量初判，再按置信度决定是否反思；简单样本高效处理，困难样本精确复核，准确率提升 3.2%，推理成本显著降低。
奖励模型（大语言模型对齐中的偏好裁判）需要判断哪个回答更好。现有方法要么快但解释力弱，要么解释强但成本高。CAMEL 先让模型用单 token 初判，若置信度高则直接输出，否则触发反思复核，在 RewardBench 等基准上以 14B 参数超过多个 70B 级模型，同时节省推理成本。
正文摘录
.jpg)  本文第一作者 朱子瑞为新加坡国立大学四年级博士生，本科毕业于清华大学，研究方向为多模态大模型和后训练优化。通信作者为 TikTok 的 Kanchan Sarkar 和 Kun Xu，以及新加坡国立大学校长青年教授尤洋老师。 文章速览 - 奖励模型（Reward Model, RM）是大语言模型对齐的核心组件，负责为模型输出提供符合人类偏好的评价信号。现有方法各有短板：标量判别式 RM 高效稳定但可解释性有限；生成式 judge 能给出判断理由，却需为每个样本生成长 reasoning，token 与延迟开销显著。 - 本文提出 CAMEL ：将奖励建模改造为 置信度门控反思 —— 先以单 token 给出初判，置信度足够高直接输出，置信度低才触发 reflection 复核。 - 关键发现 ：两个 verdict token 之间的 log-probability margin 与判断正确性强相关，可作为 “样本难度” 的零成本信号。