动态

发布自研LLM服务器ZML/LLMD,支持多架构和高级推理特性

Yann LeCun
RT @steeve: 我们正在发布ZML/LLMD,这是我们自建的高性能异构推理栈上的LLM服务器。它开箱即支持5种架构:NVIDIA、AMD、Metal、Intel和TPU。全部透明。它支持DFlash、连续批处理、前缀缓存等全套功能。哦,而且很快。
动态Yann LeCun2026-07-08原文

相关内容