AWS CPU时代收费 vs LLM token付费类比

AWS花了至少十年时间，在推出无服务器选项之前，通过按CPU时间收费获得了一批客户。其核心理念是，AWS可以吸收闲置的CPU成本，因为他们有足够的需求来平衡。对于LLM推理，无服务器的概念从第一天就存在——我们几乎都希望按token付费。但提供商没有足够的规模来很好地提供该产品，而且闲置GPU的成本要高得多。