llama.cpp

用 C/C++ 实现的高性能本地 LLM 推理引擎，支持 CPU/GPU 混合加速和多种量化格式（1.5-8 bit）。亮点在于无外部依赖、原生支持 Apple Silicon 和 Nvidia/AMD 等多种 GPU 后端，社区极其活跃，已适配数十种主流模型架构并提供了 OpenAI 兼容 API 和丰富的工具链（CLI、server、bench 等），是本地部署 LLM 的首选方案。

打开互动版