DeepSeek 首次拉北大署名开源推理框架 DSpark｜同等吞吐单用户提速 60%-85%，锁延迟吞吐再涨 51%-661%
一句话总结
DeepSeek 与北大首次联合署名开源推理框架 DSpark，同等吞吐单用户提速 60%-85%，锁延迟吞吐涨 51%-661%。
DeepSeek 与北京大学在 6 月 27 日联合放出推理加速框架 DSpark，论文挂上 arXiv，训练代码、评估脚本与草稿模型 checkpoint 同步进 GitHub 的 DeepSpec 仓库，作者列表里有梁文锋。这是 DeepSeek 第一次和高校合作署名开源底层推理组件。
推测解码（speculative decoding）里，加速比和吞吐量一向是跷跷板：压低首 token 延迟就要牺牲批次并发，反之亦然。DSpark 把两头一起拉。在同等吞吐水平下，单用户生成速度比此前生产基线 MTP-1 提升 60% 至 85%。锁延迟时，吞吐量按 SLA 档位提升 51% 至 661%。
技术上做了两件事。一是 半自回归候选生成：并行主干网络一次性吐出多个候选 token，再用一个轻量级顺序模块把 token 之间的依赖回填进去，避开纯并行草稿质量差、纯自回归草稿太慢的死结。二是 置信度调度验证：模型自己给每个 token 的存活概率打分，硬件感知调度器根据当前 batch 形状动态决定要验证多长，把 GPU 算力榨干。
DSpark 已经跑在 DeepSeek-V4-Flash 和 V4-Pro 的预览版服务引擎里，Hugging Face 上的
这次 DeepSpec 一次性放出 DSpark、DFlash、Eagle3 三套草稿模型的训练全流程，接 vLLM、SGLang 的团队可以直接拿去微调自家模型。国内推理栈里同时把高并发速度、吞吐拉到这个量级并把训练代码一并开源的，目前只此一家。
via 新浪财经 / IT 之家 / Hugging Face / 新浪科技
推测解码（speculative decoding）里，加速比和吞吐量一向是跷跷板：压低首 token 延迟就要牺牲批次并发，反之亦然。DSpark 把两头一起拉。在同等吞吐水平下，单用户生成速度比此前生产基线 MTP-1 提升 60% 至 85%。锁延迟时，吞吐量按 SLA 档位提升 51% 至 661%。
技术上做了两件事。一是 半自回归候选生成：并行主干网络一次性吐出多个候选 token，再用一个轻量级顺序模块把 token 之间的依赖回填进去，避开纯并行草稿质量差、纯自回归草稿太慢的死结。二是 置信度调度验证：模型自己给每个 token 的存活概率打分，硬件感知调度器根据当前 batch 形状动态决定要验证多长，把 GPU 算力榨干。
DSpark 已经跑在 DeepSeek-V4-Flash 和 V4-Pro 的预览版服务引擎里，Hugging Face 上的
deepseek-ai/DeepSeek-V4-Pro-DSpark 是 V4-Pro 基座外挂 DSpark 模块，MIT 协议。横向测试里，DSpark 在 Qwen3 4B/8B/14B 和 Gemma4-12B 上同样能套，平均接受长度比 Eagle3 多 26.7% 至 30.9%，比自家上一代 DFlash 多 16.3% 至 18.4%。这次 DeepSpec 一次性放出 DSpark、DFlash、Eagle3 三套草稿模型的训练全流程，接 vLLM、SGLang 的团队可以直接拿去微调自家模型。国内推理栈里同时把高并发速度、吞吐拉到这个量级并把训练代码一并开源的，目前只此一家。
via 新浪财经 / IT 之家 / Hugging Face / 新浪科技
