Ready Cohorts: 界定 GPU 机会并避免 LLM-Agent 控制中的主机往返

TL;DR 量化 LLM-agent 控制路径的 GPU 就绪队列边界（F、P*、U），精确离线打包恢复 81.83% 丢失机会，并证明设备内决策比 host 往返快 1.19–2.39x，为代理服务提供可测量的部署门控。

问题

问题背景

LLM-agent 服务在模型调用与工具调用之间频繁执行小规模、确定性的控制转换：路由结果、更新状态、发出下一个效果。这些控制路径是否能在 GPU 上获得足够并发，以及如何避免主机往返（host round trip），正成为提升服务效率的关键。

现有方法局限

当前主流做法将每个路由决策返回主机，由主机重新分发到 GPU，导致：

• 主机往返延迟：即使决策在 GPU 上计算完成，仍需把 4 字节结果传回 CPU 再调度，增加端到端延迟。
• 固定分区窗口浪费机会：使用固定时间窗口（如 F）判断就绪并发，会丢失大量本可打包的工作。论文实验显示，在 100,000 活跃会话、K=256、50 ms 启动截止时间下，固定窗口份额仅 30.19%，而精确离线打包可达 43.00%，丢失机会的 81.83% 本可恢复。
• 缺乏精确边界模型：现有调度缺少对“就绪队列”（ready cohort）的严格刻画，难以区分F、P*、U、A 四类份额，导致系统设计缺少可测量的门槛。

为什么这个问题难且重要

技术挑战在于：并发机会受启动截止时间（launch deadline）约束，需要在不违反延迟要求的前提下最大化 GPU 批量执行。精确的离线最优 P* 计算需要专用动态规划，且在线实现 A 难以达到离线最优。同时，设备驻留决策涉及 GPU 内部状态管理、任务图构建与主机控制语义的兼容性验证，复杂度远高于简单卸载。

业界关注度：LLM-agent 控制平面正从 CPU 中心向 GPU 设备端迁移，以降低延迟、提升吞吐。GPU 状态机、设备侧控制、连续批处理等方向均与此相关，相关系统测试对生产部署有直接指导意义。

行业类比

类似连续批处理（continuous batching）在推理服务中打破固定 batch 边界、动态聚合请求的做法，这里也需要打破固定调度窗口、动态聚合就绪转换，在不牺牲延迟 SLO 的前提下提升 GPU 利用率。

核心洞察

• 将 LLM-agent 控制流中的“可执行身份”与“路由键”分离，提出 ready-cohort 边界，量化 GPU 可用的并发调度机会。现有工作通常按固定时间窗口或批量大小聚合请求，忽略控制决策之间的依赖关系，导致低估 GPU 利用潜力。本文的动态规划方法在零服务时间、无限容量、等相对截止期限假设下精确求解离线最优份额 P*，并在真实 trace 重放中显示固定窗口边界丢失了约 81.83% 的机会，为系统设计者提供了可操作的容量规划指标。
• 将 GPU 计算的路由决策保留在设备上，避免主机往返，可显著降低控制路径延迟且不牺牲正确性。传统 LLM-agent 服务中，GPU 产生的少量结果（如 4 字节）需要返回主机再重新分派，带来额外同步开销。本文机制研究证明设备驻留路径在四种 GPU 放置、36 种配置下均比主机往返快 1.19x–2.39x，并且所有 1440 万次批量调用与主机 oracle 匹配；而固定嵌套设备图的负控制表明，不加选择地将控制逻辑放在设备上反而更慢。这为在 GPU 上直接执行控制决策提供了严格的条件和实证依据。

方法

输入

以 LLM-agent 服务 的控制路径为输入：模型调用与工具调用之间反复执行的小型确定性 transition（路由结果、更新状态、发射下一 effect）。研究两个并行问题：

1. 何时控制路径暴露足够的并发工作给 GPU 执行；
2. GPU 计算的路由决策保留在设备端会带来什么变化。

关键模块

• Ready-cohort 模型：把并发机会形式化为四个份额指标——固定分区份额 F、精确离线份额 P*、局部上界 U、在线达到份额 A。其中 P* 在零服务时间、无限容量、等相对 launch deadline 假设下，用专用动态规划精确求解。
• 前瞻冻结的 Poisson 重放：对固定的 851-session 公开 trace 面板做 stationary Poisson replay，按目标活跃会话数（如 100,000）、GPU 并发上限 K=256、启动截止时间（50 ms）生成 trace-conditioned 机会边界。
• 设备端决策机制：将 GPU 计算出的二进制决策保留在 device 上，避免返回 4 字节给 host 再重新 dispatch。对比四种命名 GPU placement，并用独立 host oracle 校验 14,557,440 次批量调用的正确性。
• 负控制：用固定的嵌套 device graph（不做 host 决策）验证设备端路径的加速来自观察放置而非单纯图结构。

输出

• 在主要条件下得到 F=30.19%、P*=43.00%、U=45.85%，精确打包恢复了固定窗口边界损失的 81.83% 机会。
• 设备驻留路径在全部 36 个配置中快于 host 往返（row-median 加速比 1.19x–2.39x），负控制在全部 60 个配置中更慢。

与同类方法的差异点

相比固定窗口边界或依赖 host 调度的 LLM-agent 控制，本方法同时建立截止时间可行的 cohort 供应与观察放置两个可测量 gate，并用动态规划提供精确离线界而非仅经验估计。

实验

实验设计

论文包含两项研究：trace 研究在 851-session 公开 trace panel 上做平稳 Poisson 重放，以 100,000 目标活跃会话、K=256、50 ms 启动截止为 primary condition；通过动态规划计算 P*，并结合 F、U、A 划分 ready-cohort 边界。机制研究对比 GPU 驻留决策路径与 host 往返再派发，以及固定嵌套设备图作为 no-decision floor，覆盖 4 种 GPU placement、36 配置和 60 配置负控制。

关键发现

primary condition 下 F=30.19%、P*=43.00%、U=45.85%；确切 packing 可恢复固定窗口边界损失的 81.83%。outcome-derived route key 仅作为条件代理，不证明可执行身份。设备驻留路径在全部 36 配置中更快，placement 内 row-median 加速比 1.19x–2.39x；所有 14,557,440 次 batched invocations 与 host oracle 匹配。负控制（固定嵌套图）在全部 60 配置中更慢。

基线对比

与固定时间窗口调度相比，P* 表明离线最优 packing 可利用更细粒度并发，81.83% 的恢复率量化了窗口粒度带来的机会损失。设备驻留机制相对 host 往返在延迟上稳定占优，且不牺牲正确性；负控制证明加速并非来自移除 host 决策，而是来自 observation placement 本身。

行业影响

落地场景

LLM agent 服务中，模型与工具调用之间的控制流通常由 CPU host 串行中转，造成 GPU 空闲等待。Ready-cohort 模型与 device-resident 决策可直接应用于高并发、短事务的 agent 场景：

• 电商客服机器人：订单状态查询、退货流程引导等确定性步骤可打包在同一 GPU 批次中路由，减少 host 往返延迟。
• 金融风控客服：身份核验、风险提示等固定流程可通过 GPU 本地决策快速分派到不同工具。
• 内容平台审核流水线：文本/图像审核结果的路由与状态更新可留在 device 上，避免频繁 PCIe 传输。

商业价值

主要收益在 降本 与 体验提升 两条线：

• 降本：避免 host round trip 后，GPU 空闲时间减少，相同硬件可承载更多并发会话。论文在 100k 活跃会话、K=256、50ms deadline 条件下，固定分区仅覆盖 30.19%，而精确动态规划将机会份额提升至 43.00%（回复 81.83% 固定窗口损失），意味着同等资源下可服务更多请求。
• 体验提升：device-resident 路径在 36 个配置中均快于 host redispatch（行中位数加速比 1.19x–2.39x），可直接降低端到端延迟，改善用户交互流畅度。
• 增收：吞吐提升后可在不增加 GPU 预算的情况下扩展服务规模。

与现有产品/工作流接口

集成路径较为清晰：

1. 推理框架层：将 device-resident 决策实现为 vLLM / TensorRT-LLM 的自定义内核或 CUDA Graph 子图，替换 host 端控制循环。
2. 调度器改造：采用基于 deadline 的 cohort 打包调度，使用动态规划或在线启发式算法计算最优批次组合，替代固定窗口批处理（fixed-partition）。
3. 可观测性：新增指标 F、P*、U、A 用于监控 GPU 机会供应与丢失，指导容量规划和策略调优。
4. 容错与回退：保留 host oracle 作为一致性基准（论文中 14,557,440 次调用全部匹配），在生产中可灰度切换。

整体看，该工作为 LLM agent 服务提供了可量化的 GPU 控制网关，适合与现有推理引擎、请求调度器协同落地，特别适合已有大规模 agent 编排平台的企业。

局限

• **在线验证缺失**：论文明确承认当前工作未进行 joined finite online runtime，因此无法测量 online achieved share `A`、CPU displacement 以及 service-level benefit。所有关于机会边界和设备驻留优越性的结论均来自离线 trace 重放与受控机制比较，缺乏真实部署中调度延迟、排队效应、CPU 负载等动态因素下的验证。这限制了将 `F`、`P*`、`U` 等边界直接推广到生产系统时的可信度。
• **实验条件受限**：研究基于单一固定公开 trace 面板（851-session），采用静止 Poisson 重放和前瞻冻结，仅评估了 `K=256`、`50 ms` 等少数参数组合。这可能导致结果对特定工作负载模式过拟合，未覆盖不同会话到达过程、长尾分布或非稳态场景。此外，设备驻留实验仅在四种 GPU placement 上比较 binary decision，未涉及更复杂的控制流或混合放置策略，结论的普适性有待检验。
• **理论假设理想化**：形式化模型假设零服务时间、无限容量和等相对启动截止时间，这些假设在实际 LLM-agent 服务中往往不成立——模型推理有非零服务时间，GPU 显存和并发容量有限，截止时间各异。动态规划得到的 `P*` 是基于这些简化条件的最优值，与真实可达到的 `A` 之间可能存在系统偏差，论文未提供敏感度分析，对假设偏离的影响缺少量化评估。