推理芯片的三条路径:Groq、Cerebras 与 OpenAI 自研
推理芯片比拼的不是算力而是带宽、能耗与利用率;本期讲清三条路线为何分岔,以及模型快速迭代下哪些设计选择能活下来。
嘉宾Mark、徐子扬
节目简介
推理 Token 消耗暴涨,专用推理芯片持续升温。两位 AI 芯片创业者拆解 Groq、Cerebras 与 OpenAI 自研芯片 Jalapeño 的技术取舍,对比 SRAM 与 HBM 在带宽、成本、良率上的差异,并谈及英伟达首席科学家 Bill Dally 的芯片设计哲学。