Together AI 联手 IBM 与 NVIDIA 搭建企业级推理集群
Together AI 用 IBM 的云和 NVIDIA 的 B300 芯片搭专用推理集群，押注开源模型在企业侧的 token 需求持续暴涨。
Together AI 与 IBM、NVIDIA 合作扩容企业级 AI 推理：在 IBM Cloud 上部署专用 B300 GPU 集群（NVIDIA 面向推理的新一代芯片），配 Spectrum-X 以太网组网。这是 IBM Cloud 上首个同类大规模专用推理集群，Together AI 为首家客户。
正文摘录
- title: 携手 IBM Cloud 与 NVIDIA，扩展我们的企业级推理容量 - sourcecompany: Together AI - bodymarkdown: 我们很高兴分享：Together AI 正与 IBM 和 NVIDIA 合作，扩展企业级 AI 推理能力。这次合作起步于 IBM Cloud 上一套搭载 NVIDIA Spectrum-X 以太网网络的大规模 NVIDIA B300 GPU 集群。这是 IBM Cloud 上首个专为企业级推理打造的专用大规模推理集群，而我们正是运行其上的第一个客户。 实际发生了什么 - 基础设施：一套专用的 NVIDIA B300 GPU 集群，专为推理场景量身打造，运行在 IBM Cloud 上。 - 模型：我们负责运营推理层，IBM 提供云，NVIDIA 提供芯片与网络。 - 发展轨迹：随着 token 需求呈抛物线式增长，我们已在为未来做规划。 为什么这件事重要 我们创办 Together AI，是因为我们相信 AI 的未来不该被少数几家闭源实验室所拥有。这一押注的回报速度甚至超出我们自己的预期：每月服务数百 T tokens，覆盖超过一百万开发者，而需求仍在持续攀升。 企业和 AI 原生公司选择开放模型，原因很简单：主权数据依然归自己所有，同时能以闭源模型成本的一小部分，拿到前沿级别的性能。用量越大，这笔账越划算。 通过这次合作： - NVIDIA 带来芯片 —— 为高吞吐推理而设计的 B300 GPU 与 Spectrum-X 以太网网络。 - IBM 带来数十年来为全球最大型企业运行关键任务基础设施的经验。 - Together AI 带来推理平台 —— 在生产环境中运行开放模型最快、最高效的方式，并经过全球一些最严苛 AI 工作负载的打磨与验证。