动态

讨论每秒token计算窗口应包含TTFT,倾向A方案

dax
似乎每个人计算每秒token的窗口方式不同:A. 从请求开始到响应结束的时间;B. 从第一个token返回到响应结束的时间。我认为应该是A(所以它包含TTFT),你们觉得呢?
动态dax2026-08-26原文

相关内容