单篇 · 无期号ARTICLE
Ollama vs LM Studio:本地推理引擎终极对决
本期要点POINTS
本期要点
关键实测数据DATA
关键实测数据
| 被测项 | 指标 | 值 | 实测日期 | 原始记录 |
|---|---|---|---|---|
| Qwen3.6-35B-a3b GGUF(Ollama) | 生成速度 | 29-39 | 2026-07-13 | 未收录 |
| Qwen3-Coder-30B MLX(LM Studio) | 生成速度 | 42 tok/s | 2026-07-13 | 未收录 |
| Qwen3.6-27B MLX(Ollama) | 生成速度 | 16 tok/s | 2026-07-13 | 未收录 |
| Qwen3.6-27B MLX(LM Studio) | 生成速度 | ~15 | 2026-07-13 | 未收录 |
| LM Studio 投机解码 | 推理速度提升倍数 | 1.5-2 | 2026-07-13 | 未收录 |
| LM Studio 投机解码 | 额外内存占用 | 2-3 | 2026-07-13 | 未收录 |
口径:本地与云不混评(每条读数标了运行环境,两边数字不放在一起比); 一行 = 一条可核读数;论文与第三方数字不进本表(见上方来源表)。 「原始记录」指向公开仓 cnopens/ruiowl-evidence 的固定链接(带 commit SHA,防漂移);标「未收录」者为本地从未留存原始数据文件,不补造。
本地大模型跑起来了,但你的推理引擎选对了吗?
如果你在 Apple Silicon 上跑过本地模型,一定遇到过这个选择:Ollama 还是 LM Studio?
这不是一个非此即彼的问题。两者各有各的定位、各有各的擅长的场景。我们的实测结果可能会颠覆你的一些认知。
一句话定位
| Ollama | LM Studio | |
|---|---|---|
| DNA | CLI/API 优先的开发者工具 | GUI 优先的桌面应用 |
| GitHub | 173k ⭐ 的社区霸主 | 小而美 |
| 上手难度 | 一行命令 | 下载即用 |
| 适用人群 | 开发者、API 用户 | 普通用户、GUI 偏好者 |
← 表格可左右滑动查看
引擎架构差异
两者最大的区别不在表面功能,而在于底层推理引擎的选择。
Ollama 走的是双引擎路线:默认使用 llama.cpp(GGUF),但当你拉取 MLX 标签的模型时(如 ),Ollama 会自动切换到 MLX 引擎。这个切换是透明的,用户无需手动选择。
LM Studio 默认使用 llama.cpp + Metal,MLX 引擎作为实验性功能提供。它的 MLX 支持比 Ollama 更成熟(从 2024 年开始迭代),但官方文档仍不建议作为主力推理路径。
实测性能对比
我们对同一批模型在 M5(48GB)上进行了交叉测试:
| 测试项 | Ollama | LM Studio |
|---|---|---|
| Qwen3.6-35B-a3b GGUF | 29-39 tok/s | 不支持 GGUF |
| Qwen3.6-35B-a3b MLX | N/A(内存不足) | 崩溃(内存不足) |
| Qwen3-Coder-30B MLX | 不支持 MLX | 42 tok/s |
| Qwen3.6-27B MLX | 16 tok/s | ~15 tok/s |
← 表格可左右滑动查看
结论: 同一模型在 Ollama 和 LM Studio 上的 MLX 推理性能基本相当,因为底层都用的同⼀套 mlx-lm。差异主要在功能和用户体验层面。
功能矩阵
| 功能 | Ollama | LM Studio |
|---|---|---|
| CLI 体验 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ |
| GUI 体验 | ⭐⭐ | ⭐⭐⭐⭐⭐ |
| 投机解码 | ❌ | ✅ |
| MCP 客户端 | ❌ | ✅ |
| 移动端 (iOS/Android) | ❌ | ✅ |
| 云端延伸 | ✅ Ollama Cloud | ❌ |
| 结构化输出 (JSON) | ✅ | ⚠️ 一般 |
| 多模型切换 | ✅ CLI 快速切换 | ✅ GUI 直观切换 |
| 文档问答/RAG | ❌ | ✅ 内置 |
| 开源程度 | MIT 全开源 | 仅引擎开源 |
← 表格可左右滑动查看
投机解码:LM Studio 的独门武器
投机解码(Speculative Drafting)是 LM Studio 独有的杀手级功能。它用一个更小的草稿模型快速生成候选 token,再用大模型验证,在保证质量的同时大幅提升速度。
在我们的测试环境中,LM Studio 的投机解码可将推理速度提升 1.5-2 倍,代价是多占用约 2-3GB 内存来加载草稿模型。对于内存充裕的 M5(48GB)来说,这是笔合算的买卖。
MCP 支持:开发者的加分项
LM Studio 内置了 MCP(Model Context Protocol)客户端,可以让模型直接调用外部工具——文件系统读写、数据库查询、API 调用等。这意味着 LM Studio 不仅仅是一个聊天界面,它可以成为 AI Agent 的基础设施。
Ollama 目前不支持 MCP,但通过兼容 OpenAI API,可以配合其他 MCP 代理工具间接实现。
决策建议
选 Ollama,如果:
- 你的工作流以终端/API 为核心
- 需要快速切换不同模型做对比测试
- 看重 CLI 脚本化和自动化能力
- 需要轻量、无废话的推理服务
选 LM Studio,如果:
- 你喜欢可视化界面管理模型
- 需要投机解码来榨干硬件性能
- 想用 MCP 让模型调用外部工具
- 需要在 iPad/iPhone 上使用本地模型
最佳实践:两者共存。 Ollama 跑 API 服务(默认 11434 端口),LM Studio 跑 GUI 交互(默认 1234 端口)。两个服务互不冲突,可以同时运行。日常编码用 Ollama 的 ,需要投机解码加速时转到 LM Studio 的 。
发布于 2026-07-13 | 锐Owl · AI 观察者 · 解构者 · 传播者