UNREAL:用单一模型统一检索与长上下文

TL;DR UNREAL 用冻结 LLM 内部表征直接生成检索查询，以不到 500K 可训练参数统一语料检索与长上下文证据选择，在多项多跳 QA 与 128K/256K 长上下文任务上显著提升召回与精度，并降低推理开销。

问题

当前 AI 系统在证据选择上分化为两条路径：长上下文推理 将全部证据放入单个提示，RAG 则从大规模语料库检索相关片段。两者尺度差异巨大，但核心目标都是为生成模型提供相关证据。

现有方法局限

• RAG 依赖独立检索器：嵌入模型与生成模型内部表示不一致，需要额外训练和部署多个组件，系统复杂且容易引入误差。
• 长上下文推理计算浪费：将所有内容一次性输入，计算成本随上下文长度线性增长，且模型注意力易被无关噪声分散，在长文档中准确率下降。
• 统一尝试代价高：现有跨尺度方法往往需要微调主干或增加大量参数，破坏原有能力。

为什么难且重要

证据选择本质上是一个跨尺度的检索问题：从单个长提示中定位相关片段，与从整个语料库中检索文档，理论上可以共享同一机制。但实现统一面临三大挑战：

1. 如何从冻结 LLM 内部表示中提取有效查询，无需改变主干。
2. 如何在 21M chunk 规模的索引上保持高效检索和排序。
3. 如何在长上下文场景中利用同一选择机制降低计算并提升精度。

业界对减少外部组件、降低推理成本、提升多跳和噪声鲁棒性有强烈需求。

行业类比

这类似于让一个模型同时具备搜索引擎的索引能力和阅读理解能力，无需外部检索器即可在长文档中精准定位关键证据。

核心洞察

• 模型内部表示直接充当跨尺度证据选择的统一接口。UNREAL 从冻结 LLM 的残差状态派生检索查询，并用同一 LLM 编码 chunk，取代了传统 RAG 中独立的双编码器检索器和重排器，也避免了长上下文场景下全量注意力对噪声的过度暴露。这一设计的关键差异在于：检索查询不是单独训练的小模型生成，而是语言模型在前向传播中自然涌现的隐式状态，因此可以在不同提示长度下复用同一套轻量投影（<500K 参数），而无需为不同尺度设计不同模块。
• 轻量参数叠加即可在多跳检索与长上下文去噪上显著超越 SOTA 检索-重排系统。UNREAL 在 HotpotQA 上将 recall 从 49.1% 提升至 73.2%，在 2WikiMultiHopQA 从 31.7% 提升至 60.1%，且在 NoLiMa 128K 上下文上将准确率从 1.0% 拉至 24.83%。与传统 dense retriever 需要大规模对比预训练或额外重排模型不同，UNREAL 只训练一个轻量映射头，骨干完全冻结，说明模型内部已经包含足够强的证据相关性先验，只需少量适配即可释放。
• 从约 32K tokens 起，UNREAL 相比全上下文推理开始降低 FLOPs 与 time-to-first-token，且随上下文增长收益扩大。这一效率优势源于它先在内部选择少量相关 chunk 再生成，避免了长序列上的二次注意力成本。与已有的稀疏注意力或 KV cache 压缩方法不同，UNREAL 的省算力直接来自语义选择而非固定的位置或 token 重要性启发，因此在不同输入分布上更稳健，对实际部署长上下文应用有直接工程价值。

方法

输入

UNREAL 接收查询（如多跳问题）与候选文本 chunk（来自 Wikipedia 等语料库）。输入首先通过冻结的 LLM 前向传播，提取各层的隐藏状态。

关键模块

• Chunk embeddings：从 LLM 的指定层（例如中间层）读取每个 chunk 的最后 token 或均值池化表示，直接作为 chunk 的向量嵌入，无需独立编码器。
• Residual state queries：从查询 token 的残差流状态中生成检索 query vector。该模块是可训练的轻量头（参数 <500K），通常是一个线性投影或注意力池化，将 LLM 内部表示映射到与 chunk embedding 相同的维度。
• Scoring and generation：计算 query vector 与所有 chunk embeddings 的相似度（如点积），按分数排序选取 top-k 证据。对于长上下文任务，同样的分数用于对上下文内 chunk 进行筛选，丢弃低分干扰项，仅将保留的 chunk 送入生成阶段。训练目标可能是对比损失或知识蒸馏，使正例 chunk 分数高于负例。

输出

输出为证据集合：在 RAG 场景中是检索到的 chunk 列表；在长上下文场景中是过滤后的精简上下文。生成答案时复用同一个冻结 LLM，不改变其参数。

工程启示

由于骨干完全冻结且新增参数极少，UNREAL 可作为一个轻量插件部署在现有 LLM 上，无需重新训练或微调大模型，显著降低维护成本与推理开销。其单一机制同时覆盖语料检索与上下文内筛选，避免了维护两套独立系统的复杂性。

原文论断：UNREAL 建立“模型内部证据选择作为语料检索与稀疏证据长上下文推理的共同基础”。

跟同类方法的差异点：不同于传统检索器使用独立编码器、长上下文模型依赖全注意力，UNREAL 复用同一 LLM 的内部表示完成证据选择，以不到 500K 可训练参数统一了两个尺度。

实验

实验设计

在 21M chunk 的 Wikipedia 语料（3B tokens）上构建索引，使用冻结 LLM 的隐藏状态生成查询与 chunk 嵌入，仅训练轻量 head（<500K 参数）。评估分两条线：多跳检索基准（HotpotQA、2WikiMultiHopQA、MuSiQue）对标 SOTA retriever-reranker；长上下文基准（NoLiMa 128K、LV-Eval 256K）对比 full-context 推理。

关键发现

• 检索：最佳 UNREAL 模型将 HotpotQA recall 从 49.1% 提升至 73.2%，2WikiMultiHopQA 从 31.7% 提升至 60.1%，MuSiQue 从 8.8% 提升至 14.4%。
• 长上下文：NoLiMa accuracy 从 1.0% 提升至 24.83%，LV-Eval F1 从 49.97% 提升至 54.66%。
• 效率：从约 32K tokens 起，UNREAL 的 FLOPs 和 time-to-first-token 低于 full-context，上下文越长优势越大。

与基线对比

传统检索系统采用检索器-重排器两阶段，与 LLM 分离；full-context 推理则将所有证据塞入 prompt。UNREAL 用同一内部选择机制跨越两个尺度，不改变 backbone，只添加轻量参数。检索任务上超越专用 SOTA；长上下文任务中通过剪除干扰项提升答案质量，同时降低计算开销，为统一证据选择提供新范式。

行业影响

落地场景

UNREAL 适用于需要同时处理大规模语料检索与超长上下文推理的场景，例如企业级知识库问答、多跳客服系统、长文档分析、金融研报解读、医疗证据归纳等。典型用例：

• 电商客服：用户问题常涉及商品参数、退换货政策、历史订单等多份文档。UNREAL 内部从 21M chunk 语料中直接筛选相关证据，避免多级 retriever+reranker 流水线，答案准确率更高、延迟更低。
• 金融合规分析：分析师需要从数百页 PDF 财报、公告、新闻中提取跨段落证据。UNREAL 在 128K~256K token 长上下文中动态抑制不相关段落，既保证引用完整性，又大幅降低单次请求的 token 与耗时。

商业价值

核心收益来自 降低推理成本 与 提升响应质量 的双重路径：

• 降本：省去独立 reranker 模型与多次向量检索的算力开销；长上下文场景从约 32K token 开始即减少 FLOPs，上下文越长收益越大，直接降低云端 GPU 成本与 TTFT。
• 增收/体验：多跳问答 recall 从 49.1% 提升至 73.2%（HotpotQA），长上下文准确率从 1.0% 提升至 24.83%（NoLiMa），显著减少答非所问，提升用户信任与留存。
• 工程简化：单一模型内完成证据选择，减少组件数量与维护复杂度，缩短模型迭代链路。

与现有产品 / 工作流的接口

UNREAL 可作为 轻量即插模块 接入现有 RAG 或长上下文推理栈：

1. 向量数据库协同：保留现有 chunk 索引，UNREAL 负责生成 chunk embedding 与 query 向量，替代传统 dense retriever；向量数据库仅作存储与相似度计算。
2. 推理框架集成：在 LLM 推理引擎（如 vLLM、TensorRT-LLM）中插入 UNREAL 的 residual state query 层，通过少数可训练参数（<500K）微调即可，冻结主干网络。
3. 混合部署：可与现有 reranker 叠加使用以进一步提效，或在资源受限场景下直接替换整套检索系统，降低运维成本。

局限

• 论文仅在 Wikipedia 语料上训练和评估，对法律、医疗、代码等专业领域或非英文文本的泛化性未知；NoLiMa 准确率从 1.0% 提升至 24.83% 相对显著，但绝对性能依然有限，表明在超长上下文下的多步推理与证据定位仍存在瓶颈。模型内部表征可能偏向训练语料的统计分布，在领域漂移时检索质量可能下降。
• backbone 完全冻结，检索表征无法针对特定任务进行端到端微调，限制在专业垂直领域或非标准语料上的适应性；查询由残差状态线性导出，可能难以捕捉复杂多跳查询的深层语义组合。由于 UNREAL 仅添加轻量可训练参数（少于 500K），底层语言模型不会根据新的证据选择需求调整其内部表示，从而限制了在需要强语义对齐的场景下的表现。
• 相对可微调的检索器（如 DPR、Contriever），UNREAL 的检索组件不可独立优化，难以融合传统索引压缩技术；效率优势主要出现在 32K tokens 以上长上下文，在常见 RAG 短上下文场景可能引入额外延迟与计算开销。传统检索器允许针对具体检索任务微调 query encoder 和 document encoder，而 UNREAL 的检索部分依赖冻结的 LLM 内部表示，无法像独立检索器一样灵活适配不同的检索目标或加入负样本对比学习。