DeepSeek的DSpark修复了制约快速AI推理的两大问题

多年来，推测性解码一直是让大型语言模型更快生成文本且不牺牲质量的变通方案。其理念很优雅：一个轻量级的草案模型提出一组候选令牌，然后全尺寸的目标模型在单次前向传递中验证整个块。接受的令牌保留；第一个被拒绝的令牌及其之后的所有令牌被丢弃。如果做得好，该系统会产生与单独目标模型相同的输出，只是墙钟时间更短。fast-lewm-parallel-action-prefix-prediction-slashes-latent-world-model-planning-costs

但这种方法一直面临一个根本性的妥协。自回归草案器生成高质量的序列，但其延迟随块大小线性增长。并行草案器可以在单次前向传递中提出长块，但由于无法建模令牌间的依赖关系，它们在后续位置遭受快速的接受率衰减。即使并行草案器生成了长提议，不加区分地验证每个令牌也会浪费计算资源，尤其是在高并发下，每个被拒绝的令牌都会占用本可用于服务其他请求的批次容量。when-your-ai-knows-you-better-than-you-know-yourself-the-hidden-cost-of-context-in-17-slide-recaps

DeepSeek识别出的两大瓶颈

DeepSeek的研究团队在与北京大学合作者发表的一篇论文中，对这些瓶颈进行了系统分析。他们在Qwen3-4B、8B和14B模型上的离线基准测试揭示了一个鲜明的模式：并行DFlash草案器在位置1表现强劲（数学任务的条件接受率为0.88），但到位置7迅速衰减至0.78。与此同时，自回归Eagle3草案器在块内更深位置保持甚至提高了其接受率（从聊天任务的0.53提升至0.74），但其浅层架构限制了初始性能。the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

"由于推测性解码是一个严格的前缀匹配生存过程，第一个令牌的影响最大。这里的拒绝会立即使整个块失效，"作者写道。并行草案器在位置1的容量优势解释了为什么尽管有后缀衰减，它们仍能在全局上超越自回归模型。ifbench-the-new-benchmark-testing-ai-instruction-following

DSpark如何结合两者的优势

DSpark将草案生成分为两个阶段。一个基于DFlash设计的并行骨干网络对整个块执行单次前向传递，生成隐藏状态和基础logits。然后，一个轻量级的顺序头通过一阶马尔可夫转移偏差在草案令牌之间注入依赖关系。顺序组件使用低秩分解（秩为256）以保持存储和每步计算最小化。kog-laneformer-2b-the-latency-first-model-that-redefines-small-scale-inference

根据论文，其效果是DSpark继承了深层并行草案器的高初始接受率，同时减轻了纯并行生成中常见的快速衰减。在Qwen3模型上，与Eagle3相比，DSpark的宏平均接受长度提高了约27%至31%，与DFlash相比提高了16%至18%。在Gemma4-12B目标模型上，相对于Eagle3的增益为12%至17%，相对于DFlash为9%至14%。

可能更具说服力的是模型缩放行为。一个2层的DSpark在所有领域都优于5层的DFlash基线，表明"通过轻量级顺序头注入局部自回归提供了非常有利的精度-参数权衡，"作者指出。how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

置信度调度验证：知道何时停止

DSpark框架的后半部分使其可用于生产。该系统将估计每个位置前缀生存概率的置信度头与一个硬件感知调度器相结合，根据当前系统负载动态确定最优验证长度。这解决了一个离线基准测试无法捕捉的问题：在高并发下，验证低置信度的尾部令牌对整体吞吐量的损害大于帮助。the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

在离线阈值扫描中，置信度头在识别低价值后缀令牌方面表现有效。随着接受阈值的增加，整体接受率稳步上升，因为估计器过滤掉了最终会被拒绝的令牌，特别是在聊天工作负载上，其中更高熵的令牌分布使盲目验证变得浪费。

添加了一个称为顺序温度缩放（STS）的后处理校准程序，以将预测概率与经验接受率对齐。"由于神经网络置信度估计往往过于自信，直接使用原始置信度分数会扭曲吞吐量估计，导致调度次优，"论文解释道。

生产部署：生成速度提升60%至85%

任何推理优化的真正考验是实时用户流量，而DeepSeek将其DSpark部署在V4服务系统中。与之前的MTP-1生产基线相比，在匹配的聚合吞吐容量下，DSpark在V4-Flash变体上使每个用户的生成速度加快了60%至85%，在V4-Pro上加快了57%至78%。what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai

更重要的是，DSpark缓解了一个此前使严格的交互性层级无法实现的性能悬崖。在严格的SLA约束下（例如Flash为每秒120个令牌，Pro为每秒50个令牌），基线的容量严重恶化。DSpark的置信度调度验证通过仅将目标模型计算路由到具有最高预期回报的令牌，防止了这种退化。kog-laneformer-2b-the-latency-first-model-that-redefines-small-scale-inference

开源工件与社区影响

DeepSeek已发布针对V4-Flash（预览版）和V4-Pro（预览版）模型的训练好的DSpark检查点。该公司还开源了DeepSpec，一个包含Eagle3、DFlash和DSpark实现的算法驱动训练仓库。这些检查点和代码旨在支持关于高效LLM服务的进一步研究。cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

此次发布是对推测性解码文献的重要贡献，不仅因为算法创新，还因为论文系统性地诊断和解决了限制并行草案器投入生产的瓶颈。通过展示2层半自回归草案器可以优于5层并行草案器，以及自适应验证可以推动服务系统的帕累托前沿，DSpark为在高并发环境中部署大型草案块提供了一本实用手册。ai2-releases-olmoearth-v11-slashing-compute-costs-up-to-3x-for-satellite-imagery-ai