airllm 针对大模型推理的内存优化方案，允许70B模型在仅4GB显存显卡上直接运行，无需量化、剪枝或蒸馏。通过分层加载和块级量化压缩，实现3倍推理加速，并支持405B Llama3.1在8GB显存运行。亮点是兼容主流模型（如Qwen、ChatGLM、Llama），代码简单易用，适合资源受限场景下的本地大模型部署。 开源项目lyogavin2026-06-03原文 打开互动版
