小红书与复旦提出 DR-Rubric：用深度研究生成强化学习评分细则
把评分细则的制定本身当作研究任务：先检索证据再生成评分细则，让开放式强化学习获得更可靠的奖励信号。
开放式任务没有标准答案，强化学习难在判断哪种回答值得奖励。小红书与复旦大学等提出 DR-Rubric：让模型先围绕问题做多轮检索，收集事实、约束与常见错误，再把这些证据转成逐条可核查的评分细则，作为奖励信号。该方法已被 NeurIPS 2026 接收，每轮仅用 1000 条 RL 数据，即在智能体研究与专家推理任务上取得有竞争力的结果。
正文摘录
.jpg)  让大模型回答一道数学题，通常还能靠标准答案判断对错。可如果问题换成「梳理一个领域的研究进展」「比较几种技术路线」或者「给出有依据的专业建议」，怎样才算答得好？答案没有唯一版本，遗漏关键事实、混淆概念、论证不充分，都可能藏在一段看起来很流畅的文字里。 这也是开放式任务做强化学习时最难的一步：模型可以生成很多回答，但训练系统得知道，哪些回答值得奖励。只给一个笼统的总分，模型很难知道该改哪里；把评判拆成细则，又会遇到另一道难题——这些细则由谁来写？ 专家手写可靠，却难以覆盖大量、不断变化的问题。直接让大模型写评分标准，速度快，但它可能只列出「清晰」「完整」「有逻辑」这样的通用要求，漏掉真正决定这道题质量的知识和边界条件。评分尺子本身不准，强化学习就可能朝着错误的方向优化。 针对这一问题，小红书与复旦大学等机构提出了 Deep Research as Rubric（DR-Rubric） ：让模型先围绕任务做一轮深度研究，收集外部事实、关键约束与常见错误，再把研究结果转成逐条可检查的评分细则，用作强化学习的奖励信号。这套方案也已在小红书业务中实际使用。