推理提供商让客户预留吞吐量来承担 GPU 闲置风险

所有推理服务商,包括大型云厂商,都希望客户通过预留吞吐量的方式来承担 GPU 闲置的风险。

这并不意外,还记得在 AWS 之前,你根本没法按分钟大规模租用服务器。

但如今我们太习惯那种模式了,所以感觉还是有点别扭。