单篇 · 无期号ARTICLE
领域 推理与效率
MoE vs 稠密：Apple Silicon 跑大模型的最优架构选择
本期要点POINTS
本期要点
关键实测数据DATA
关键实测数据
| 被测项 | 指标 | 值 | 实测日期 | 原始记录 |
|---|---|---|---|---|
| Qwen3.6-35B-a3b（MoE，GGUF Q4_K_M） | 生成速度 | 29-39 | 2026-07-13 | 未收录 |
| Qwen3.6-27B（稠密，MLX NVFP4） | 生成速度 | 15-16 | 2026-07-13 | 未收录 |
| Qwen3.6-35B-a3b（MoE） | 内存占用 | 22 GB | 2026-07-13 | 未收录 |
| Qwen3.6-27B（稠密） | 内存占用 | 20 GB | 2026-07-13 | 未收录 |
| Qwen3.6-35B-a3b（MLX，LM Studio） | 运行状态 | 崩溃（内存不足） | 2026-07-13 | 未收录 |
口径：本地与云不混评（每条读数标了运行环境，两边数字不放在一起比）； 一行 = 一条可核读数；论文与第三方数字不进本表（见上方来源表）。 「原始记录」指向公开仓 cnopens/ruiowl-evidence 的固定链接（带 commit SHA，防漂移）；标「未收录」者为本地从未留存原始数据文件，不补造。
在 Apple Silicon 上跑本地大模型，你很快会面对一个灵魂拷问：MoE 还是稠密？
MoE（Mixture of Experts，混合专家）和稠密架构是当前大模型的两条技术路线。它们听起来抽象，但对你的日常使用体验有非常具体的影响——速度、内存、质量，全都不同。
本文用我们的实测数据来拆解这个选择。
两个模型，一场擂台
我们选取了两款 Qwen 3.6 系列的代表作：
| Qwen3.6-35B-a3b | Qwen3.6-27B | |
|---|---|---|
| 架构 | MoE | 稠密 |
| 总参数 | 35B | 27B |
| 激活参数 | 3B | 27B |
| 量化格式 | GGUF Q4_K_M | MLX NVFP4 |
| 内存占用 | ~22GB | ~20GB |
← 表格可左右滑动查看
注意一个关键数字：35B 的 MoE 模型内存占用反而比 27B 的稠密模型更少。这直接决定了它们在 16GB Mac mini 上的命运——只有 MoE 能跑。
实测速度对决
在 M5（48GB）上实测：
| 指标 | 35B-a3b (MoE) | 27B (稠密) |
|---|---|---|
| 生成速度 | 29-39 tok/s | 15-16 tok/s |
| 推理效率 | 高 | 高 |
| 代码质量评分 | ⭐⭐⭐⭐⭐ | ⭐⭐ |
← 表格可左右滑动查看
MoE 的 35B 比稠密的 27B 快了 2 倍。
原因很简单：MoE 每次推理只激活一小部分参数（35B-a3b 仅激活 3B），而稠密模型必须全量计算所有 27B 参数。这就像你有 35 个人但每次只派 3 个人干活 vs 让 27 个人全部上场——完成同样的一道题，前者当然更快。
为什么 MoE 还更省内存？
稠密模型的参数量 = 内存占用量。27B 的稠密模型需要加载全部 27B 参数到显存，MLX 格式下约 20GB。
MoE 模型的参数量 = 显存占用量虽然等于总参数（35B），但通过 GGUF 的 Q4 量化大幅压缩——35B × 4bit = ~17.5GB，加上 KV cache 和 overhead，实际占用约 22GB。
关键区别：MoE 是省算力（每次只算一小部分），稠密是全量算（每次算全部）。
大坑：MoE 的 MLX 版本在 48GB 设备上崩溃
我们在测试中发现一个值得注意的现象：Qwen3.6-35B-a3b 的 MLX 版本（LM Studio）在 48GB 的 M5 上直接崩溃了。原因在于 MLX 推理需要一次性将全部 35B 参数加载到显存，35B × 2byte（NVFP4）= 70GB 理论带宽需求，实际加载超过 48GB 的物理限制。
而同一模型的 GGUF 版本（Ollama）在同样设备上运行流畅，22GB 占用，29+ tok/s。
教训： 大参数模型（30B+）在 Apple Silicon 上优先选 GGUF，MLX 格式更适合中低参数量的稠密模型。
延伸对比：Mac mini M4 16GB 的宿命
这个架构差异在 16GB 设备上更加明显。Mac mini M4 只能运行 7B 级别的小模型，或者像 35B-a3b 这样的 MoE 模型。任何超过 25B 的稠密模型在 16GB 上都是奢望。
| 设备 | MoE 35B-a3b | 稠密 27B | 稠密 7B |
|---|---|---|---|
| M5 (48GB) | ✅ 29-39 tok/s | ✅ 16 tok/s | ✅ 快速 |
| Mac mini (16GB) | ⚠️ 勉强可跑 | ❌ 内存不足 | ✅ 快速 |
← 表格可左右滑动查看
不是银弹：MoE 的代价
MoE 架构也并非完美无缺：
- 量化敏感：MoE 的 Q4 量化丢失的信息可能比稠密模型更明显（专家路由更依赖精度）
- 推理不可预测：同一 prompt 在不同设备上激活的专家数量可能不同，导致推理时间不稳定
- 导出和部署复杂：MoE 的模型结构比稠密复杂，部署和 fine-tune 的 ecosystem 不如稠密成熟
- 长上下文性能：MoE 的 KV cache 膨胀可能比稠密更快（因为缓存的是完整注意力头）
一句话总结
| 你的场景 | 推荐架构 |
|---|---|
| 设备内存 ≤ 16GB | MoE（必须的） |
| 设备内存 ≥ 32GB | 稠密（质量更稳） |
| 追求推理速度 | MoE（激活参数少） |
| 追求极致质量 | 稠密（全量参数） |
| 日常编码 | 选 MoE + GGUF 组合 |
← 表格可左右滑动查看
在我们见过的几十次本地模型测试中，Qwen3.6-35B-a3b (GGUF) 是 Apple Silicon 上性价比最高的通用模型。MoE 架构让它在 16GB 设备上可跑，在 48GB 设备上飞快。这也许就是它发布后迅速成为社区热门的原因。
发布于 2026-07-13 | 锐Owl · AI 观察者 · 解构者 · 传播者