Qwen3.5本地部署，非常详细收藏我这一篇就够了

这一篇我们来聊点更实际的——怎么本地跑起来。397B 参数的模型哪怕只激活 17B完整模型也有807GB。听起来吓人但实际上得益于 Unsloth 的 Dynamic 2.0 量化技术192GB 内存的 Mac 就能跑 3-bit 版本256GB 的 Mac 就能跑 4-bit 版本。Unsloth Dynamic 2.0 量化Unsloth 其实是第一时间就发布了 Qwen3.5-397B-A17B 的 GGUF 格式文件Qwen 给了 Unsloth day zero 访问权限而且用的是他们家的Dynamic 2.0量化策略。这个策略的核心和我上篇文章介绍的 AngelSlim 思路类似——不是所有层都用同一个精度。关键层会自动提升到 8-bit 甚至 16-bit不那么重要的层才用低精度。这样即使整体是 4-bit 量化模型的推理能力也不会崩。不同量化版本的资源需求量化版本磁盘大小最低内存 / 显存需求适用场景BF16 / FP16原始~807GB至少 800GB 显存几乎不可能本地跑8-bit~400GB512GB RAM / VRAM高端服务器MXFP4 / UD-Q4_K_XL4-bit~214GB256GB Mac / RAM256GB M3 Ultra3-bit~150GB192GB RAM192GB Mac StudioUD-Q2_K_XL2-bit~100GB128GB RAM最低推荐配置 Unsloth 官方推荐至少用 2-bit Dynamic 量化UD-Q2_K_XL这是精度和体积的平衡点。有几个关键信息VRAM RAM 加起来 ≥ 模型文件大小就可以以相当不错的速度推理如果内存不够也可以借助硬盘 / SSD 卸载offloading只是速度会慢一些1 块 24GB 显卡 256GB 内存配合 MoE 卸载可以跑 4-bit 版本速度约25 tokens/s方案一llama.cpp 本地部署llama.cpp 是目前跑 GGUF 模型最成熟的方案。Qwen3.5 本身就是混合架构Gated Delta Networks MoEllama.cpp 已经做了支持。1. 编译 llama.cpp# 安装依赖Ubuntu/Debianapt-get updateapt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y# macOS 用户通常已有 Xcode Command Line Tools直接 clonegit clone https://github.com/ggml-org/llama.cpp# 编译有 GPU 用 -DGGML_CUDAONMac 用 -DGGML_METALON纯 CPU 用 -DGGML_CUDAOFFcmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBSOFF -DGGML_CUDAONcmake --build llama.cpp/build --config Release -j \ --clean-first \ --target llama-cli llama-mtmd-cli llama-server llama-gguf-splitcp llama.cpp/build/bin/llama-* llama.cppmacOS M 系列芯片用户把-DGGML_CUDAON换成-DGGML_METALON即可利用 Metal GPU 加速。2. 下载模型# 先安装下载工具pip install huggingface_hub hf_transfer# 下载 4-bit 版本约 214GB适合 256GB Machf download unsloth/Qwen3.5-397B-A17B-GGUF \ --local-dir unsloth/Qwen3.5-397B-A17B-GGUF \ --include *MXFP4_MOE*# 或者下载 2-bit 版本约 100GB适合 128GB Mac / 内存较小的机器hf download unsloth/Qwen3.5-397B-A17B-GGUF \ --local-dir unsloth/Qwen3.5-397B-A17B-GGUF \ --include *UD-Q2_K_XL*3. 运行推理Qwen3.5 支持两种模式思考模式Thinking和快速模式Non-Thinking两者需要不同的采样参数。思考模式适合复杂推理、数学、编程export LLAMA_CACHEunsloth/Qwen3.5-397B-A17B-GGUF./llama.cpp/llama-cli \ -hf unsloth/Qwen3.5-397B-A17B-GGUF:MXFP4_MOE \ --ctx-size 16384 \ --temp 0.6 \ --top-p 0.95 \ --top-k 20 \ --min-p 0.00快速模式适合日常对话、简单问答./llama.cpp/llama-cli \ -hf unsloth/Qwen3.5-397B-A17B-GGUF:MXFP4_MOE \ --ctx-size 16384 \ --temp 0.7 \ --top-p 0.8 \ --top-k 20 \ --min-p 0.00 \ --chat-template-kwargs {\enable_thinking\: false} 关键参数差异思考模式用temp0.6, top_p0.95非思考模式用temp0.7, top_p0.8其他常用参数调整--threads 32CPU 线程数根据你的 CPU 核心数调整--ctx-size 16384上下文窗口最大支持 262,144--n-gpu-layers 2GPU 层卸载数显卡内存不够就减小纯 CPU 就移除方案二部署为 API 服务llama-server如果你想把 Qwen3.5 部署成 OpenAI 兼容的 API 服务用llama-server非常方便./llama.cpp/llama-server \ --model unsloth/Qwen3.5-397B-A17B-GGUF/MXFP4_MOE/Qwen3.5-397B-A17B-MXFP4_MOE-00001-of-00006.gguf \ --alias unsloth/Qwen3.5-397B-A17B \ --temp 0.6 \ --top-p 0.95 \ --ctx-size 16384 \ --top-k 20 \ --min-p 0.00 \ --port 8001服务启动后就可以用标准的 OpenAI Python 库调用from openai import OpenAIclient OpenAI( base_urlhttp://127.0.0.1:8001/v1, api_keysk-no-key-required,)completion client.chat.completions.create( modelunsloth/Qwen3.5-397B-A17B, messages[ {role: user, content: 用 Python 写一个快速排序}, ],)print(completion.choices[0].message.content)这意味着你可以把 Qwen3.5无缝接入所有支持 OpenAI API 格式的工具——Qwen Code、Claude Code、Cline、OpenClaw、OpenCode 等等。方案三Transformers 直接推理如果你有靠谱的 GPU 集群Hugging Face Transformers 提供了最简单的一行命令# 启动 OpenAI 兼容服务transformers serve --model Qwen/Qwen3.5-397B-A17B --port 8000 --continuous-batching# 或者直接命令行对话transformers chat Qwen/Qwen3.5-397B-A17B方案四SGLang / vLLM 高性能部署对于生产环境部署SGLang 和 vLLM 是更专业的选择SGLangpython -m sglang.launch_server \ --model-path Qwen/Qwen3.5-397B-A17B \ --port 8000 \ --tensor-parallel-size 8 \ --context-length 262144 \ --reasoning-parser qwen3vLLMvllm serve Qwen/Qwen3.5-397B-A17B \ --port 8000 \ --tensor-parallel-size 8 \ --max-model-len 262144 \ --reasoning-parser qwen3⚠️ 这两个方案都需要多卡至少 8 块 A100 / H100--tensor-parallel-size 8就是 8 卡张量并行。方案五Apple Silicon 专属MLXMac 用户还有一个选择——MLX 框架# 纯文本推理pip install mlx-lmmlx_lm.chat --model Qwen/Qwen3.5-397B-A17B# 视觉 文本推理原生多模态pip install mlx-vlmmlx_vlm.chat --model Qwen/Qwen3.5-397B-A17B工具调用Tool CallingQwen3.5 最大的亮点之一就是 Agent 能力。本地部署后通过 llama-server 的 OpenAI 兼容 API 就可以直接使用工具调用import jsonfrom openai import OpenAI# 定义工具tools [ { type: function, function: { name: add_numbers, description: Add two numbers together, parameters: { type: object, properties: { a: {type: number, description: First number}, b: {type: number, description: Second number}, }, required: [a, b], }, }, },]# 工具函数映射def add_numbers(a, b): return a bMAP_FN {add_numbers: add_numbers}# 调用client OpenAI( base_urlhttp://127.0.0.1:8001/v1, api_keysk-no-key-required,)response client.chat.completions.create( modelunsloth/Qwen3.5-397B-A17B, messages[{role: user, content: 123456 加上 789012 等于多少}], toolstools, tool_choiceauto,)# 处理工具调用for tool_call in response.choices[0].message.tool_calls: fn_name tool_call.function.name args json.loads(tool_call.function.arguments) result MAP_FN[fn_name](**args) print(f工具调用: {fn_name}({args}) {result})推荐的采样参数总结参数思考模式Thinking快速模式Non-Thinkingtemperature0.60.7top_p0.950.8top_k2020min_p00repeat_penalty1.0关闭1.0关闭最大上下文262,144262,144建议输出长度32,768 tokens32,768 tokens如何选择适合你的方案场景推荐方案硬件要求Mac 用户尝鲜llama.cpp GGUF2-bit 或 3-bit128-192GB 统一内存Mac 高配用户llama.cpp MXFP4256GB M3/M4 Ultra个人 GPU 服务器llama.cpp llama-server1×24GB GPU 256GB RAM生产环境SGLang / vLLM8×A100 / H100纯 CPUllama.cpp去掉 GPU 参数256GB RAM速度较慢最后能在 MacBook 上跑一个和 GPT-5.2 正面对抗的模型放在两年前简直不敢想。虽然 397B 的模型跑起来还是需要不小的投入但 Unsloth Dynamic 2.0 量化 MoE 架构的稀疏激活已经把门槛拉到了一台高配 Mac的水平。对了如果你之前跑过 Qwen3 的 GGUF这次升级也很简单——下载新的 GGUF 文件启动命令几乎不变模板都是兼容的。假如你从2026年开始学大模型按这个步骤走准能稳步进阶。接下来告诉你一条最快的邪修路线3个月即可成为模型大师薪资直接起飞。阶段1:大模型基础阶段2:RAG应用开发工程阶段3:大模型Agent应用架构阶段4:大模型微调与私有化部署配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】