Local
Local 是 macOS 本地 AI 运行工具，让用户无摩擦地使用私有 AI 聊天和编码代理，无需联网，自动适配硬件提升性能。
热门评论
大家都在聊本地 AI 这件事。它解决了隐私问题，而且完全免费。但以前设置起来很麻烦。所以我们做了 Local。它完全无感，会自动适配你的硬件，推荐你真正能跑得动的模型，把端侧 AI 的复杂度全部去掉。希望你喜欢 :)
如果你对 Local 成为 Apple silicon 上最快的 AI 推理应用背后的引擎感兴趣，可以看看 BaseRT 和它背后的研究：https://www.basecompute.co/research
硬件自动调优是我想要验证的部分。我试过几个号称能自我优化的本地推理设置，但要在 M3 Pro 上获得不错的吞吐量，还是得手动配置模型。如果 Local 不需要任何手动调优就能做到，那它默认的 context window 是多少？我能不能在长时间编程时覆盖它，同时又不破坏硬件适配？
酷！它只支持 Apple Silicon 处理器吗？我有一台 2020 年的 MacBook Air，是最后一代 Intel 芯片的。我的能跑吗？
恭喜发布！我很好奇你们有没有在不同硬件规格上跑过测试？有没有发现某些模型的理想配置？最低配置要求是什么？
LLM 成本很快就会变得一团糟。如果能有个更聪明的办法来平衡价格和性能，感觉是个值得解决的问题。