d-Matrix CEO:AI 推理市场正分化,交互式服务溢价十倍
解释 AI 推理市场分层:交互式推理需求暴涨,现有 GPU 架构受限,催生新的芯片机会。
嘉宾Sid Sheth
节目简介
AI 芯片市场看似由 NVIDIA 主导,但 d-Matrix CEO Sid Sheth 指出,市场正分成两个层级:一类是低成本批量推理,另一类是强调即时响应的交互式推理。后者被称为“优质代币经济”,用户愿为毫秒级反馈多付十倍价格,而 GPU 系统的内存带宽成了瓶颈。
解释 AI 推理市场分层:交互式推理需求暴涨,现有 GPU 架构受限,催生新的芯片机会。
嘉宾Sid Sheth
AI 芯片市场看似由 NVIDIA 主导,但 d-Matrix CEO Sid Sheth 指出,市场正分成两个层级:一类是低成本批量推理,另一类是强调即时响应的交互式推理。后者被称为“优质代币经济”,用户愿为毫秒级反馈多付十倍价格,而 GPU 系统的内存带宽成了瓶颈。