阿里千问提出 TRACE：FP4 Rollout 强化学习训练提速最高 5.4 倍且不崩
TRACE 让训练侧对齐 Rollout 的真实 FP4 量化结果，解决了低精度 Rollout 导致 RL 训练崩溃的问题，同时保住加速收益。
强化学习里最耗算力的环节是 Rollout，即让模型大量生成轨迹采样。阿里千问与俄亥俄州立大学提出 TRACE：Rollout 用 FP4（4 位浮点量化）加速，但训练侧舍入时参考 Rollout 实际量化结果，避免两边数值落到不同码点。四个 MoE 模型上性能回到 BF16 水平，128K 输出解码吞吐最高提升 5.4 倍。
正文摘录
.jpg)  大模型强化学习越来越「吃算力」，最昂贵的环节之一正是 Rollout。把 Rollout 从 BF16 压到 FP4，理论上可以显著降低计算和显存开销，但问题也随之而来 —— 训练端与 Rollout 端即使面对非常接近的数值，也可能因为 FP4 的离散量化边界而落到不同码点，最终把微小的数值误差放大成策略偏差导致训练崩溃。 阿里千问联合俄亥俄州立大学的研究团队提出了 TRACE。 它的核心思路并不是继续分别提高训练端和 Rollout 端的量化精度，而是直接减少两条低精度执行路径之间的差异：用 Rollout 侧真实的 FP4 量化结果，反过来指导训练侧的舍入方向。