单篇 · 无期号ARTICLE
轻解析 lite
领域 推理与效率
推测解码 (Speculative Decoding)
本期要点POINTS
本期要点
本期未收录要点：抽取阶段判定该篇正文没有可提炼的线索性结论（不造数、不空着）。
关键实测数据DATA
关键实测数据
本期无新增实测：该篇正文没有自测数字（不造数、不空着）。
同类读数集中在有实测的期与 证据索引页。
背景
LLM 推理的瓶颈在于自回归解码——每次只生成一个 token，无法并行。这会带来两个问题：
- 生成速度慢（尤其长序列）
- GPU 利用率低（大模型推理时算力稀疏）
核心思想
用一个小模型（草稿模型/草稿者）快速预测多个 token，然后用大模型（目标模型）并行验证。
如果草稿预测全部通过 → 一次生成 N 个 token 如果部分被拒绝 → 从拒绝点开始重新生成
工作原理
关键算法对比
Eagle (自回归)
- 草稿模型：轻量 Transformer + 特征层接入
- 验证方式：树状注意力 (Tree Attention)
- 优点：接受率高，加速比好
- 代表：Eagle2, Eagle3
DFlash (非自回归)
- 草稿模型：MLP 预测器
- 验证方式：可并行预测预设数量的 token
- 优点：草稿阶段极快
- 缺点：接受率可能较低
🆕 DSpark — RLTF (Token 级 RL 反馈)
DeepSeek 2026 年最新工作
- 用 强化学习 来训练草稿模型
- 奖励信号：目标模型对每个 token 的接受/拒绝
- 让草稿模型学会哪些 token 更容易被接受
- 发布在 github.com/deepseek-ai/DeepSpec
实际加速效果
| 方法 | 目标模型 | 加速比 |
|---|---|---|
| Eagle3 | Qwen3-4B | 3.3x–3.8x |
| DFlash | Qwen3-4B | 3.6x–3.8x |
| DSpark | Qwen3-4B | 3.8x–4.0x |
← 表格可左右滑动查看
发布于 2026-07-05 | 锐Owl · AI 观察者 · 解构者 · 传播者