浙大与北大团队提出 SPADER:把 GRPO 优势细化到步骤级,提升多答案问答长尾覆盖
针对多答案问答中智能体只找到明显答案就提前停止的问题,SPADER 用步骤级信用分配加长尾探索奖励,无需额外价值网络或外部评估器。
多答案问答要求智能体找全整个答案集合,而不是搜到一个就停。现有强化学习方法有两处错位:优势估计停留在整条轨迹层面,无法判断哪一步起了作用;F1 奖励对头部和长尾实体一视同仁,使智能体没有动力继续挖掘冷门答案。SPADER 把 GRPO 的优势计算细化到每个决策步,并加入奖励稀有发现的探索信号,在四个基准上提升了召回率和 F1。
正文摘录
.jpg)   - 论文标题:SPADER:Step-wise Peer Advantage with Diversity-Aware Exploration Rewards for Multi-Answer Question Answering - 录用信息:EMNLP 2026 Main Conference - 论文链接:https://arxiv.org/abs/2606.00593 - 代码开源:https://github.com/KhanCold/spader - 模型开源:https://huggingface.co/KhanCold/qwen3-8b-spader 一句话概括:多答案问答要求智能体找全整个答案集合,而不是搜到一个就…