omlx 专为 Apple Silicon 优化的本地 LLM 推理服务器，支持连续批处理与两级 KV 缓存（内存+SSD），可通过 macOS 菜单栏或 CLI 管理。亮点在于将 vLLM 风格的缓存管理与 macOS 原生体验结合，支持多模型加载、LRU 驱逐、模型固定，以及 OpenAI/Anthropic 兼容 API，适合 Mac 用户本地运行和调试大模型。项目采用 Apache 2.0 许可。 开源项目jundot2026-05-10原文 打开互动版
