NVIDIA Blackwell 在首个自主AI基础设施基准测试中领先
NVIDIA 的 Blackwell 平台在自主AI基础设施基准测试中能效领先,每兆瓦处理任务量是竞品的20倍。
AgentPerf 是业界首个面向自主AI(能自主执行任务的AI系统)的基准测试,由 Artificial Analysis 推出。首轮结果中,NVIDIA Blackwell Ultra NVL72 平台表现领先,每兆瓦电力可运行的任务智能体数量是其他平台的20倍,为开发者选型提供了清晰参考。
正文摘录
NVIDIA Blackwell 在首个 Agentic AI 基础设施基准测试中领先 来自 Artificial Analysis 的 AgentPerf 是业界首个 agentic AI 基准测试,它为开发者、企业和基础设施提供商提供了一种清晰的方式来比较用于 agentic AI 的系统。在首轮公布的结果中,[NVIDIA Blackwell Ultra NVL72](https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/) 平台在测试的 agentic AI 工作负载中展现了领先性能,每兆瓦运行的代理数比 NVIDIA Hopper 多 20 倍。 Agentic AI 与对话式 AI 的工作负载本质不同。一次聊天补全好比短跑:一次大语言模型(LLM)调用,一次响应。而代理更像接力赛:它将一个目标分解为多个步骤,并持续执行直到任务完成。  代理将多个 LLM 调用和工具调用串联起来,以收集上下文、观察、推理并采取行动。 这会导致数十到数百次 LLM 调用串联在一起,每次调用都将不断增长的上下文传递给下一次,并且在每次交接时伴随工具调用,如代码编译与执行、数据库搜索和网页浏览。复杂度不是相加的,而是相乘的。 这一区别对性能衡量至关重要。现有的 AI 推理基准测试仅衡量单次 LLM 调用:LLM 响应单个请求的速度以及系统可以同时处理多少请求。