港科大与华为提出 BalanceRoute，96 卡实验解码吞吐提升约 15%
这篇论文把大模型推理的瓶颈归到「谁等谁」而非算力上，用负载预测驱动的路由决策减少同步空等，已在 96 卡环境验证约 15% 吞吐提升。
大模型并行推理中，卡加多了吞吐却涨得慢：多组计算卡每生成一个 token 都要同步一次，负载最重的一组不完工，其他组只能空等。香港科技大学与华为 2012 实验室提出 BalanceRoute，用数学建模刻画这种同步等待，并把短期负载预测变成在线路由决策。在 96 卡实验中，相对最强基线解码吞吐提升约 15%。
正文摘录
.jpg) 大模型走向大规模在线服务，一个常见却又有些反直觉的现象是： 卡加得越来越多，吞吐却涨得越来越慢 。 问题出在哪？在 DeepSeek 等 MoE 模型的一类部署中，多组计算卡并行处理大量请求，每组既处理各自的请求，又要通过跨组通信，共同完成每一步解码。这意味着解码是齐步走： 只要最忙的一组没算完，其他组算得再快也只能等 。 更麻烦的是，请求即使分得一样多，各组实际承担的负载也可能不同，于是较轻的一组提前算完、空等最忙的一组，就成了常态。这种等待会随 token 生成反复发生，每一步都等一点，累积下来，部署规模扩大的收益便被悄悄吃掉了。 所以，瓶颈并不卡在算力那里，而是卡在「谁来等谁」上。 针对这一瓶颈， 香港科技大学周子杰团队与华为 2012 实验室理论部联合提出 BalanceRoute 。团队的思路很直接： 先把问题说清楚，再谈优化，即通过数学建模刻画同步等待，再将短期负载预测转化为在线路由决策。 效果也经得起检验。在论文的 96 卡主实验中，采用实际预测器的 BR-H 相对所比较的最强基线， 解码吞吐提升约 15% 。 这项工作已被 NeurIPS 2026 接收，并 已部署于双方共建的 MaaS 推理服务系统 MathBot-Pie 。