OpenAI 自研推理芯片 Jalapeño 性能超英伟达 GB200
OpenAI 自研推理芯片 Jalapeño 超越英伟达，专为提高推理效率和降低延迟，借此打通模型到芯片的完整链路。
OpenAI 公布首款自研推理芯片 Jalapeño 的测试结果，它专为大语言模型的上线运行阶段设计，目标是让模型更快响应用户请求。相比英伟达 GB200 和 GB300 系统，Jalapeño 在多个模型上实现了 1.5 至 1.9 倍的每瓦性能提升，并将延迟降低至对比系统的约 1/2 至 1/4。这意味着同等电量下能处理更多请求，同时响应更快。该芯片是与 Cerebras 合作开发，并针对自家及外部模型优化，但尚未用于训练下一代 GPT 模型。
正文摘录
.jpg) 编辑｜山辉、Youli 一觉醒来，关于 OpenAI 的消息真是满天飞。 先是 X 用户 Leo@synthwavedd 独家声称： OpenAI 已完成一次新的预训练，代号「Bel」，参数规模据称超过 10 万亿，或是 Doug 的继任者，可能成为 Astra /GPT-6 的基础模型……  一圈搜索下来发现，并没有准确的消息。但确凿无疑的是，OpenAI 的首款自研推理芯片出成绩了。 就在刚刚， OpenAI 公布了首款自研推理芯片 Jalapeño 的最新测试结果：取得了重大突破，这款芯片专为大语言模型推理设计，通过全新的架构设计，它能够同时提升吞吐量，并降低延迟，在保持高能效的同时，实现两者兼得。并在多个模型测试中超过 NVIDIA GB200、GB300 系统的效率表现 。