QwenGyre: 用于训练 xLong-Horizon 智能体的弹性强化学习框架

TL;DR QwenGyre 弹性调度 GPU、去重分支轨迹，解决超长 horizon 在线 RL 的 GPU 空转与冗余，NL2RepoBench 提升 6.0%，速度最高 1.85 倍。

问题

问题背景

当前 LLM agent 已进入极端长程 (xLong) 任务，如代码库级重构、深度研究等，单次 rollout 持续数小时、产生近 1M token，在线 RL 成为提升 agent 策略的必要路径。

现有方法局限

现有调度方案（如 Colocate 与 Async）难以适应 xLong 负载：

• Colocate 将 rollout 与 training 硬绑定在同一 GPU 组，执行方差大或长尾任务导致 GPU 大规模空闲；
• Async 虽解耦但仅粗粒度切分 GPU，训练数据分发采用固定陈旧策略，无法弹性供给训练算力；
• 两者均把每次 rollout 视为原子轨迹，忽略执行分支结构，造成大量冗余路径重复训练，且无法对部分成功步骤评分，浪费计算与 token 预算。

为什么难/重要

xLong 任务天然非线性和高方差：单次 rollout 延迟从几分钟到几十分钟不等，同步训练循环严重拖慢；分支组合爆炸使轨迹数量指数增长，推高训练成本。业界对能自主运行数小时、多步工具调用的 agent 需求增长，若无高效执行框架，在线 RL 无法扩展到 1M token 级别。

行业类比

类似自动驾驶仿真训练中，数据采集与模型更新需动态共享算力——xLong agent 训练也要求弹性重分配 GPU、去重轨迹，否则在线 RL 难以规模化。

核心洞察

• 弹性 GPU 调度通过边界调度与水位控制，在 rollout 和 training 之间动态重分配资源，并通过 harness-preserving 角色切换（请求重路由、KV-cache 迁移）实现不中断 live execution 的平滑转移。这区别于现有 Colocate（固定共置导致 xlong rollout 时训练 GPU 闲置）和 Async（异步流水线引入严重 staleness）的静态假设，将资源视为可弹性伸缩的池，使训练供应持续稳定，是 xlong-horizon online RL 的工程基础。
• 轨迹处理器将黑盒 agent 执行重构为 trajectory tree，利用 TITO 记录和前缀共享表示分支历史，并对部分完成的子任务进行 partial scoring，再按 provenance 采样可训练 token。这解决了非线性 agentic 执行（如代码生成中的多次尝试、分支回退）导致的大量冗余轨迹；与直接将单次 rollout 作为一条训练样本的现有 RL 框架不同，它显式复用共享前缀、剔除重复路径，在保持训练语义有效性的同时大幅压缩训练数据成本，是能扩展到 700K token/rollout 的关键。

方法

输入

xlong-horizon agentic RL 工作负载：单次 rollout 可长达数小时，包含数百次模型-环境交互，近 1M tokens，且执行中存在非线性分支，产生大量冗余轨迹。传统在线 RL 框架在这种场景下面临 GPU 大量闲置与训练数据爆炸的问题。

关键模块

Elastic Scheduler 负责动态重分配 GPU 资源，不中断活跃执行。它采用拓扑感知的 cell 组织，每个 cell 承担 rollout 或训练角色；通过 boundary dispatch 与 waterlevel control 控制资源水位，在 rollout 突发结束时同步权重并保留核心，减少闲置。harness-preserving 角色转换（请求重路由、KV-cache 迁移）让 GPU 在 rollout 与训练间无缝切换。此外，流式训练与动态成员关系支持集中式动态数据并行，适应不断变化的训练节点集合。

Trajectory Processor 处理从 harness 执行产生的原始数据。它基于 TITO 记录请求，构建 trajectory trees 实现前缀共享，重建分支历史；partial scoring 对部分完成的工作进行评分，保留评估范围并处理失败情况；trajectory sampling 根据来源定义可训练 token，从树中采样轨迹，去重冗余路径，从而约束训练成本。

输出

在 NL2RepoBench 上，使用 Qwen 3.8 2.4T 模型，48 步内绝对提升 6.0%（52.5% → 58.5%）；对比 Colocate 和 Async 基线，加速比分别达 1.85x 和 1.78x。

与同类方法的差异点：不同于传统 colocate/async 的静态资源分配和全量轨迹训练，QwenGyre 通过弹性 GPU 调度与轨迹结构化去重/部分评分机制，专门解决 xlong-horizon 场景下的执行方差与轨迹冗余。

实验

实验设计

• 模型：Qwen 3.6 122B 与 Qwen 3.8 2.4T；任务：NL2RepoBench、DeepSWE、TerminalBench；单次 rollout 最长 700K tokens。
• 基线：Colocate(共置调度)与 Async(异步调度)等。
• 评估：端到端性能、训练速度、消融实验(流式训练、细粒度分配、cell 粒度等)。

关键发现

• QwenGyre 在 NL2RepoBench 上 48 步内将成功率从 52.5% 提升至 58.5%，绝对增益 +6.0%。
• 训练速度最高达 1.85×(vs Colocate)与 1.78×(vs Async)。
• 消融实验证实流式训练与细粒度资源分配是加速的关键组件。

与基线对比解读

• Colocate 与 Async 分别代表共置与异步调度，但二者难以同时解决 xlong 负载下的 GPU 空闲 与 轨迹冗余。
• QwenGyre 通过弹性 GPU 重分配(不中断执行)和轨迹树去重/部分评分，针对性地降低了这两类开销。
• 结果说明：对于超长时程在线 RL，单纯异步或共置均不足，必须结合动态资源划分与结构化轨迹处理才能获得实质性加速。

行业影响

落地场景

QwenGyre 可直接用于需要超长时域在线强化学习的 Agent 产品：如代码仓库级重构/修复 Agent（一次 rollout 可跨数小时、70 万 token）、复杂浏览器自动化、金融尽调或自主数据分析管线。无需改造现有 harness，即可将这类 xLong 任务纳入 RL 训练。

商业价值

1. 降本：弹性 GPU 调度减少 idle，训练吞吐较 Colocate 提升 1.85 倍、较 Async 提升 1.78 倍；轨迹去重与 partial scoring 进一步压缩训练成本。
2. 增收/体验：模型在 NL2RepoBench 上绝对提升 6.0%（52.5%→58.5%），能直接转化为代码 Agent 的交付成功率与用户留存。
3. 可行性：让原来因成本过高而不可训的超长任务进入 RL 优化周期。

跟现有产品/工作流的接口

可作为独立调度层叠加在现有 agentic RL stack 上：Elastic Scheduler 对接 Kubernetes/集群资源管理，在 rollout 与 training 间动态迁移 GPU 并保持 KV-cache；Trajectory Processor 输出标准 RL 数据集，支持 streaming training 与动态 data parallel，能与 vLLM/SGLang 推理、PyTorch FSDP 训练、以及 black-box harness 直接集成。

局限

• **GPU 预算与 cell 粒度限制**：论文在 Limitations 中明确指出 `GPU budget and cell granularity` 的问题。弹性调度器按 `cell` 组织 GPU 资源，`cell` 作为最小调度单元，其粒度决定了资源的细粒度分配能力。当总 GPU 数量较少，或 `cell` 划分较粗时，容易产生资源碎片，无法精确匹配 rollout 与 training 两个阶段的不同资源需求，导致弹性收益下降。这意味着该方法更适用于拥有大量 GPU 的大规模训练场景，对于小规模集群（如数十张卡）可能难以发挥其优势。
• **流式训练与全局 shuffle 冲突**：论文提及 `shuffling with streaming training` 的限制。由于使用动态成员和流式训练，训练数据以在线方式持续产生，很难进行完整的全局 shuffle。这会导致 mini-batch 内样本分布出现时间相关性或局部偏差，尤其在轨迹采样策略存在偏置时，可能影响模型训练的稳定性和泛化能力。虽可通过局部缓冲或影子队列缓解，但无法完全消除，长期训练可能累积偏差。
• **对 harness 可修改性的依赖**：轨迹处理器需要 harness 提供 `TITO` 记录、支持前缀共享与部分评分，还需要在角色切换时进行请求重路由、KV-cache 迁移等操作。若环境是完全黑盒或传统 harness 不支持这些接口，框架的核心功能将无法落地。虽然论文将其定位为黑盒兼容，但实际上要求 harness 保留执行状态并暴露一定查询能力，这在一定程度上限制了通用性，需对既有环境进行适配改造。