It Takes Two to Match: Co-Evolving Generative Retriever with Reinforcement Learning

TL;DR CoGR 训练 LLM 在查询与物品两侧直接生成关键词，通过倒排索引匹配，并用协同强化学习交替优化两侧生成器，在公开基准上 F1 大幅领先。

问题

问题背景

检索是搜索与广告系统的首道漏斗，召回错误不可逆，因此提升召回质量一直是核心关注点。近期利用 LLMs 增强检索成为热点，典型做法包括 query expansion、数据合成与检索反馈训练。

现有方法局限

当前 LLM 增强检索的主流方式存在明显技术局限：

• 生成能力大多只用于 query 侧，如改写或扩展查询；item 侧 仍由传统 sparse/dense 检索器编码，两者表征空间不一致，无法充分利用 LLM 对 item 语义的理解。
• 最终匹配仍交给下游 retriever，LLM 未直接参与构建 item 侧表示，检索反馈无法端到端回流到 item 侧的学习。
• 训练目标与检索指标（如 F_1）脱节，难以优化真实召回效果。

为什么这个问题难 / 重要

同时让 LLM 在 query 与 item 两侧生成可匹配的紧凑关键词集，需解决 联合训练稳定性 与 大规模 item 索引更新 两大挑战。奖励信号稀疏，两侧交替优化可能导致不收敛或表征漂移。但业界高度关注：

• 召回错误会被下游 ranking / auction 放大，直接影响业务指标。
• 保留倒排索引兼容性可大幅降低部署成本，避免替换现有成熟基础设施。

行业类比

这类似于 双塔检索模型 同时学习 user 与 item embedding，但 CoGR 用生成式方法让两侧共享同一 LLM 动态产出可解释的关键词表示，可类比 RAG 系统中生成器与检索器的协同进化。

核心洞察

• - **双端共同演化构建对齐的关键词表示空间**：CoGR 的核心创新在于同时训练查询端和文档端 LLM 生成紧凑关键词，并通过共演化使两侧表示空间在倒排索引中自发对齐。 与传统生成式检索仅优化查询侧（如 `query2doc`）或将文档表示为稠密向量不同，CoGR 让两侧生成器交替优化，共享查询-文档检索 F1 目标。这一机制打破了单向生成范式，关键词空间的语义对齐由整体检索目标驱动，而非单一侧启发式设计，从而更直接地缩小生成表示与实际匹配之间的分布差距，同时保留倒排索引兼容性。
• - **反事实边际奖励让文档侧参与联合优化**：CoGR 为文档侧生成器设计了反事实边际奖励，衡量单个文档关键词变化对全局查询-文档 F1 的边际影响。 文档侧无法直接获得查询-文档检索指标，因为其变化作用于索引中的文档表示。CoGR 冻结查询侧模型，计算每个文档生成新关键词前后查询侧 F1 的变化作为奖励，将文档侧优化嵌入相同全局目标。该设计避免为文档侧构造启发式标签，可在大规模语料上近似联合最优，并提供无需额外监督、可并发计算的文档侧 RL 信号，是实现共演化训练的关键工程突破。

方法

输入与关键模块

CoGR 包含两个基于 LLM 的生成器：查询侧生成器 和 条目侧生成器。查询侧接收原始 query 文本，条目侧接收 item 的标题/描述等元数据，二者分别输出一组紧凑的关键词集合（如 ["term1", "term2", ...]）。关键词集合直接通过 倒排索引 进行匹配，得到 query 到 item 的候选集，流程兼容现有关键词检索基础设施。

训练流程

1. 第一阶段：监督微调（SFT）
   使用标注数据对两个生成器分别进行 SFT，目标是让 query 和 item 生成的关键词落在同一个对齐的词表空间，为后续强化学习提供稳定初始化。

2. 第二阶段：共同进化强化学习（Co-Evolving RL）
   使用 GRPO 交替优化两个生成器。每一步冻结对方生成的索引，只更新当前侧生成器。

   • 查询侧奖励：直接以检索 F1 作为 reward，衡量当前查询关键词的检索质量。
   • 条目侧奖励：采用 反事实边际奖励（counterfactual marginal reward），计算条目生成的关键词变化引起的查询侧 F1 增量，从而估计该条目关键词对整体检索的边际贡献。
   • 两侧优化同一个 query-to-item 检索 F1 目标，确保端到端一致性。

输出

训练完成后，query 和 item 侧生成器均能在线生成稀疏关键词，无需下游 dense retriever，直接由倒排索引输出候选集。

与同类方法差异：传统生成式检索通常只将 LLM 用于查询侧扩展，最终匹配仍交给独立的下游 retriever；CoGR 首次让 LLM 同时生成 query 与 item 两侧的检索表示，并通过共同进化 RL 端到端优化同一检索目标。

实验

实验设计

CoGR 在内部 APP Marketplace 数据集和公开 WANDS 基准上验证，覆盖 10 个 representative sparse/dense/generative baseline。两阶段训练：SFT 建立对齐关键词空间，随后 co-evolving RL 交替优化 query/item 生成器，均以 query-to-item retrieval F1 为优化目标。

关键发现

在两个数据集上均取得最佳 F1，相对最强 baseline 分别提升 +10.9% 和 +36.1%。分析表明 co-evolving 训练稳定，query 与 item 的关键词空间逐轮对齐。消融证实 RL 阶段和双端共进化对性能贡献显著。

与基线对比解读

相比仅做 query-side expansion 的方案，CoGR 让 LLM 同时生成双侧关键词并直接用 inverted index 匹配，保留 keyword retrieval 的工程兼容性。这种设计避免了将匹配完全委托给下游 dense retriever，在稀疏索引设施上以更小改动获得显著增益，适合已有 keyword-based 检索架构的团队平滑升级。

行业影响

落地场景

CoGR 可直接用于电商搜索、内容平台推荐、广告候选生成、APP 市场检索等第一 stage 召回场景。对 query 和 item 双侧同时生成紧凑关键词，并通过倒排索引匹配，无需更换底层架构即可提升召回质量。

商业价值

• 降本：保持与现有关键词检索基础设施兼容，避免高成本向量索引迁移；生成式关键词缩短索引构建周期。
• 增收 / 体验提升：在 APP Marketplace 与 WANDS 基准上，F1 相对最强 baseline 分别提升 10.9% 与 36.1%，减少漏召回直接改善下游排序与转化。

与现有工作流接口

• 替换 query 端的传统查询扩展或稀疏检索模型，在线生成 query 关键词。
• item 侧离线批量生成关键词并更新倒排索引。
• 训练采用 SFT 初始化 + GRPO 交替优化，可周期性对 query 与 item 生成器做 co-evolving 更新，无需全量重训。

具体 use case

1. 电商搜索：用户 query “轻便通勤背包” 经 query 生成器产出 “轻量 / 双肩 / 防泼水 / 通勤” 等关键词，item 侧生成对应卖点词，直接提升召回相关性。
2. 视频内容平台：为每条视频（item）离线生成内容关键词，用户兴趣 query 实时生成关键词，经倒排索引快速匹配候选，替代或补充向量召回，降低线上延迟与成本。

局限

• **关键词匹配的语义局限**：CoGR 最终依赖倒排索引进行精确或模糊关键词匹配，虽然 LLM 生成的查询侧关键词可以缓解词汇不匹配，但 item 侧同样由 LLM 生成关键词，若两侧生成的关键词在字面上不完全一致（如同义不同词、多义词等），仍可能漏召回。与 dense retrieval 直接编码语义向量相比，该方法在语义泛化上存在天然瓶颈，尤其在查询意图复杂或领域词汇稀疏的场景，生成的关键词集合可能无法完整覆盖相关 item 的匹配特征。论文未系统讨论此类失败案例。
• **训练与推理开销较高**：CoGR 需要同时训练 query 和 item 两侧生成器，且第二阶段交替进行 RL 优化，item 侧的反事实边际奖励需要额外的前向推理来计算 query 侧 F1 变化，即使论文提到高效实现，整体训练成本仍显著高于单侧生成式检索或传统稀疏检索。此外，对所有 item 离线生成关键词并构建倒排索引需要大规模 LLM 推理，对于百万级以上的 item 库，初始化和定期更新的计算与存储开销可能成为部署瓶颈，论文未提供扩展性分析。
• **实验验证范围有限且共演化稳定性存疑**：论文仅在内部 APP 搜索数据集和 WANDS 公开基准上评估，WANDS 数据规模相对较小且领域特定，缺乏大规模通用 Web 搜索或电商场景的验证。虽然观察到训练过程中 keyword 空间对齐度提升，但共演化 RL 本身易出现模式崩塌或双方策略过度适应对方导致泛化下降，论文未进行长期训练或跨域迁移实验，也未讨论奖励 hacking 的可能。此外，与最新生成式检索方法（如 DSI 变体）的对比可能不够全面。