嗨，朋友们，今天想跟你们聊聊最近火得一塌糊涂的 Qwen 3.6 系列模型，还有它和 Hermes Agent 搭配时的奇妙化学反应。别担心，我不会把一堆专业名词塞进你的脑子里，而是想像坐在咖啡馆里，喝一杯拿铁，慢慢把这些技术细节揉进生活的点滴里，让你听得懂、记得住。
先把「本地 AI」这件事拆开说
以前用 AI，基本上像租车：你把钥匙交给云端公司（OpenAI、Claude、Gemini），他们把车子开到你手上，你只管坐上去。好处是省心，缺点是每跑一公里都要交租金，而且车里装的东西（聊天记录、代码、私密文档）全都在服务器上。
本地 AI 则是把车买回家，停在自家车库。你自己给车加油（算力），自己保养（隐私），甚至可以改装（加插件）。唯一的花费是买车和油钱，和租车的「按里程付费」完全不一样。
Qwen 3.6 为什么能把「买车」的门槛降到几千元？
Qwen 3.6 有两个关键点：
- MoE（混合专家）架构：虽然标榜 35 B 参数，但每一步只激活约 3 B 参数，等于是把一台 35 B 的大卡车拆成若干小卡车，只挑最合适的那几辆来跑。这样算力需求大幅下降，普通的 RTX 3060（12 GB）甚至可以跑起 35 B 版的模型。
- 量化技术（Q4_K_M）：把模型重量从 55 GB 压到 16–20 GB，放进 24 GB 显存的电脑里几乎不吃力。
用个生活比喻：想象你要搬家，传统方法是请搬家公司搬整个家具，费用高、时间久。而 Qwen 3.6 就是把家具拆成小件，自己搬，甚至可以用手推车（CPU）配合小推车（GPU）一起干，省钱又省力。
Hermes Agent：给模型装上「大脑」的工具箱
Hermes 本身不产生智能，它更像是一个「任务调度员」——接收任务、拆解步骤、调用工具、总结经验。它的核心循环是：
- 收到需求（比如「帮我把这个仓库的 Bug 全部修好」）
- 规划子步骤（打开代码、运行单元测试、生成 PR）
- 调用工具（git、shell、IDE）
- 把结果写进「技能」库，下次再遇到类似任务直接复用
这套「自我迭代」的循环，你可以想象成你在做菜时记录下每一步的配方，下次再做同样的菜只要打开配方就能省去思考过程。
为什么 Qwen 3.6 + Hermes 成了「零成本」的黄金组合？
- 零 token 费用：把模型跑在本地，发多少请求都不用看钱包。每天 50 万 token，换算下来在云端要花 200 美元，买台 24 GB GPU 的显卡一次性成本远低于一年云费。
- 隐私安全：所有代码、商业计划、客户数据都只在你自己的硬盘里跑，防止泄漏。
- 无限速率：云端经常会出现 429 限流，特别是跑大量自动化任务时会被卡住。跑本地模型，只要硬件够快，就没有「排队」的烦恼。
- 工具调用能力强：Qwen 3.6 在 MCPMark（工具调用）上拿到 37.0 分，远高于同等参数的 Gemma 4（18.1），这直接决定了它在 Hermes 里能更精准地完成「打开文件 → 运行命令 → 生成 PR」这样的多步操作。
一步步把它们装在你家电脑里
下面给你一个最简化的「装车」指南，适用于 Windows、macOS、以及 Linux（WSL2）。
1️⃣ 准备硬件
如果你有 32 GB 以上的内存，配一块 RTX 3060（12 GB）或更高的显卡，基本可以跑 Qwen 3.6‑35B‑A3B（量化后约 20 GB）。
如果只有 16 GB 内存，建议先跑 9 B‑27 B 版本，稍微降低期望。
2️⃣ 安装 Ollama（本地模型服务）
curl -fsSL https://ollama.com/install.sh | sh # Linux/macOS brew install ollama # macOS Homebrew
启动 Ollama 并拉取模型：
ollama pull qwen3.6:35b-a3b # 35B MoE 版，默认 Q4_K_M 量化
拉完后可以用 ollama list 确认。
3️⃣ 把 Hermes 接到 Ollama
curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash hermes model # 交互式向导，选「自定义端点」 # 基础 URL 填 http://127.0.0.1:11434/v1 # 模型名自动检测，如果没有可以手动填 qwen3.6:35b-a3b
配置好后，运行 hermes chat，随便说一句「帮我列出今天的天气」测试一下，模型会立刻回复，说明链路通畅。
4️⃣ 开启「思考保留」功能
Qwen 3.6 新增 Thinking Preservation 能够在多轮对话里保留思路，这对 Hermes 的自我迭代至关重要。只需要在启动 Ollama 时加上 --preserve-thinking（或在配置文件里打开对应选项），后面的任务会直接接着上一次的思路继续。
5️⃣ 让它自学会写技能
比如让 Hermes 完成一次「部署 Next.js 到 Vercel」的任务。完成后它会在 ~/.hermes/skills/ 里生成一份 Markdown 文件，记录每一步操作。下次你只要说「部署 Next.js」，它会直接调取这份技能，省掉全部推理过程，速度瞬间提升。
实战案例：从零到自动化部署
我自己用了两周，给自己搭了一个「代码小管家」：
- 在 Telegram 里给机器人发「把 repoA 的 PR 合并」
- Hermes 读取仓库结构（通过工具调用 git），自动生成
git merge命令，执行后把结果通过 Telegram 反馈。 - 完成后生成
merge-repoA.md记录步骤。
整个过程不到 10 秒，完全不收费，代码量却像请了个全职助理。
和别的模型/框架比，Qwen 3.6 有哪些独到之处？
| 维度 | Qwen 3.6‑35B‑A3B | Gemma 4 26B MoE | Claude Opus 4.5 |
|---|---|---|---|
| 活跃参数 | 3 B | 4 B | 不公开 |
| 单卡显存需求 | ≈20 GB（量化） | ≈24 GB（量化） | 云端 |
| SWE‑bench Verified | 73.4 % | 53.5 % | 80.9 % |
| Terminal‑Bench 2.0 | 51.5 % | 40.5 % | 59.3 % |
| 工具调用（MCPMark） | 37.0 | 18.1 | ≈30 |
| 成本（本地） | 零 | 零 | 付费API |
可以看到，虽然在最强大模型（Claude）上略有差距，但在「工具调用」和「本地跑成本」上大幅领先，这正是 Hermes 这类 Agent 最需要的特性。
实用小贴士：让模型跑得更快更稳
- 开启 CUDA：有 NVIDIA 显卡一定要装 CUDA 驱动、下载带 cuBLAS 的 Ollama 发行版，速度会提升 5–10 倍。
- 调节
-ngl参数：如果显存不足，可把部分层放 CPU，-ngl 20表示只把前 20 层跑在 GPU 上，剩下的交给 CPU，仍然比全 CPU 快很多。 - 压缩 KV 缓存：使用
--cache-type-k q4_0 --cache-type-v q4_0把上下文记忆压到 4 bit，内存省 75%，对长对话特别友好。 - 设定超时时间：本地模型预热大文本时会卡几分钟，把
HERMES_STREAM_READ_TIMEOUT调到 1800 秒，避免意外掉线。
进阶玩法：混合本地+云端，做到「最优成本」
如果你偶尔需要超级大模型的推理（比如一次性分析 1 M 行代码），可以把本地模型设为主力，超过一定复杂度时 fallback 到云端的 Claude 4.5 或者 Qwen 3.6 Plus。Hermes 的 /model 命令支持在同一会话里切换，使用起来和换电池一样简单。
小结：你真的可以拥有自己的 AI 助手了
从硬件到软件，从模型选型到实际使用，我把「买车」的每一步都拆解成了你能直接动手的操作。最重要的是，这套方案真的把「AI 费用」从每月上百美元降到了零，只剩下电费和显卡的折旧。
如果你还在为「API 费用」头疼，或者担心「数据泄露」而犹豫不决，现在正是把 Qwen 3.6 拉进自家车库、让 Hermes 成为你的驾驶员的好时机。动手试一试，你会发现，AI 已不再是只能租的高大上服务，而是可以随时随地、免费陪伴的私人小伙伴。
祝你在本地 AI 的道路上一路畅通 🚗💨！
评论 (0)