OpenAI 自研芯片 Jalapeño 基准测试：推理吞吐与能效大幅领先
OpenAI 自研推理芯片 Jalapeño 在基准测试中超越现有最先进产品，但量产尚需时日，值得关注其全栈优化思路。
在 Hot Chips 会议上，OpenAI 公布了自研推理芯片 Jalapeño 的首批基准测试结果。在 SemiAnalysis 的 InferenceX 测试中，Jalapeño 的每用户 token 数和每千瓦吞吐量均超过当前最先进的推理处理器。OpenAI 硬件负责人称其性能优势非常显著，但该芯片要到 2026 年底才小规模部署。
正文摘录
周二，在 Hot Chips 会议上，OpenAI 分享了 [关于 Jalapeño 的更详细内容](https://openai.com/index/jalapeno-first-results/)，包括该新系统的首批基准测试结果。在 SemiAnalysis 的 InferenceX 基准测试中，Jalapeño 在每位用户的 token 数和每千瓦吞吐量上都超过了目前可用的最先进的推理处理器。 “底线是，这些结果表明，与最先进技术相比，性能有了非常非常显著的提升，” OpenAI 硬件负责人 Richard Ho 在媒体电话会上表示。“Jalapeño 可以在单位功耗内完成更多 AI 工作，同时响应速度也更快。它非常适合服务大量客户，而且延迟也可以很低。” 值得注意的是，这一对比是针对 Nvidia Blackwell 系统的——但等到 Jalapeño 全面部署时，竞争对手可能已经取得了显著进步。Ho 估计，Jalapeño 将在 2026 年底“以非常小的规模”部署，更大规模的部署将在 2027 年到来。 Jalapeño 于去年 10 月首次公布，由 OpenAI 与 Broadcom 紧密合作开发，OpenAI 自己的模型在开发过程中提供了辅助。该公司计划将 Jalapeño 打造为一个多代际平台，让 AI 产品、模型、芯片和内存能够协同开发。 正是由于这种全栈式方法，OpenAI 得以解决推理过程中常常造成瓶颈的具体阶段。特别是，Jalapeño 旨在最大限度地减少处理过程中 prefill（预填充）和通信阶段的延迟，OpenAI 表示这些阶段通常会成为瓶颈。 “我们设计 Jalapeño 的目的是最大限度地减少数据移动和通信延迟，” 该公司在发布结果的博客文章中表示。