推理工程成 AI 关键学科，Baseten 详解生产级推理优化
推理优化不再是附属环节，Baseten 专家拆解如何让模型在规模下更快、更稳、更省，并给出 20% 到 200% 的提速现实。
嘉宾Philip Kiely、Ali Taha
节目简介
推理工程正从训练后的收尾步骤，变成独立学科。本期 Baseten 的 Philip Kiely 和 Ali Taha 讲解如何把模型权重变成快速、可靠、便宜的 API：包括 KV 缓存复用、量化误差抵消、视觉编码器移植等，还延伸到视频生成和训练推理融合的趋势。