动态

分享本地运行Qwen3.6的agentic setup

分享本地运行Qwen3.6的agentic setup
Victor M
分享我目前用于在本地运行Qwen3.6的配置(Pi + llama.cpp),能让你了解当前本地agent的能力。

# 启动 llama.cpp 服务器:

llama-server \
-hf unsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_XL \
--jinja \
--chat-template-kwargs '{"preserve_thinking":true}' \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0

# 配置 Pi:
{
"providers": {
"llama-cpp": {
"baseUrl": "http://127.0.0.1:8080/v1",
"api": "openai-completions",
"apiKey": "none",
"models": [
{
"id": "unsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_XL"
}
]
}
}
}
Qwen
⚡ 遇见 Qwen3.6-35B-A3B:现已开源!🚀🚀

一个稀疏MoE模型,35B总参数,3B激活参数。Apache 2.0许可证。

🔥 Agentic编码能力与10倍其激活尺寸的模型相当
📷 强大的多模态感知与推理能力
🧠 多模态思考+非思考模式 https://t.co/UMiChPaLid
动态Victor M2026-04-17原文

相关内容