单篇 · 无期号ARTICLE
论文 / 机制解读 paper
领域 推理与效率
DSpark: Token 级 RL 训练草稿模型
本期要点POINTS
本期要点
本期未收录要点：抽取阶段判定该篇正文没有可提炼的线索性结论（不造数、不空着）。
关键实测数据DATA
关键实测数据
本期无新增实测：该篇正文没有自测数字（不造数、不空着）。
同类读数集中在有实测的期与 证据索引页。
Draft and Verification of Speculative Decoding via Reinforcement Learning from Token-level Feedback
论文概要
- 作者：DeepSeek AI (2026.06)
- 代码：github.com/deepseek-ai/DeepSpec (MIT 开源)
- 核心创新：用 RLTF (Reinforcement Learning from Token-level Feedback) 训练草稿模型
为什么需要 DSpark？
传统训练草稿模型的方法：
- MLE (最大似然估计) — 让草稿模仿目标模型的输出分布
- 知识蒸馏 — 最小化两个模型的分布差异
但这些都存在一个问题：训练目标和推理目标不一致。草稿模型在训练时学的是预测下一个 token 的概率分布，但在推理时，它的目标是生成尽可能多被目标模型接受的 token。
DSpark 直接优化后者。
RLTF 框架
状态空间
- 当前已生成的 token 序列
- 草稿模型当前的隐状态
动作空间
- 下一个 token 的生成
奖励设计
- 接受奖励：目标模型接受草稿 token → +1
- 拒绝奖励：目标模型拒绝 → -1
- 位置折扣：γ^t 越靠后的 token 权重越低
策略优化
- 使用 PPO 优化策略
- 目标模型作为验证器（不更新参数）
- 训练期间保持目标模型 frozen
实验结果
| 目标模型 | 草稿大小 | 加速比 (DSpark vs MLE) |
|---|---|---|
| Qwen3-4B | 7 blocks | 3.8x vs 2.7x |
| Qwen3-8B | 7 blocks | 3.5x vs 2.5x |
| Qwen3-14B | 7 blocks | 3.2x vs 2.3x |
← 表格可左右滑动查看
DSpark 比 MLE baseline 提升了 35–45% 的加速比。
关键 Insight
推测解码的真正瓶颈不是草稿模型的生成速度，而是草稿模型*是否知道哪些 token 会被目标模型接受。*
DSpark 用 RL 直接优化这个认知。
发布于 2026-07-08 | 锐Owl · AI 观察者 · 解构者 · 传播者