快讯前沿资讯

DeepSeek 联合北大开源推测解码加速框架 DSpark

约 2 分钟阅读

AI最前沿 88Z.ai 6 月 29 日消息,DeepSeek 与北京大学联合发布大模型推理加速框架 DSpark,该框架已应用于 DeepSeek-V4 系列生产系统。在保持总吞吐量不变的前提下,DSpark 显著提升了单用户生成速度:DeepSeek-V4-Flash 提速 60%–85%,DeepSeek-V4-Pro 提速 57%–78%。其核心采用半自回归架构结合置信度调度验证机制,平衡草稿生成效率与文本连贯性,并支持根据系统负载动态调整验证长度。

消息要点

  • DSpark 已用于 DeepSeek-V4 生产系统,显著提升单用户生成速度。
  • 采用半自回归架构与置信度调度,支持根据负载动态调整验证长度。
DeepSeek 联合北大开源推测解码加速框架 DSpark 配图
DeepSeek 联合北大开源推测解码加速框架 DSpark 配图

要点

DeepSeek 携手北京大学共同推出了名为 DSpark 的大模型推理加速框架,目前该技术已正式集成至 DeepSeek-V4 系列的生产环境中。测试数据显示,在系统总吞吐量保持稳定的情况下,DSpark 有效优化了单用户的响应体验。具体而言,DeepSeek-V4-Flash 模型的单用户生成速度提升了 60% 至 85%,而 DeepSeek-V4-Pro 模型的提升幅度则在 57% 到 78% 之间。 DSpark 的技术核心在于采用了半自回归架构,并引入了置信度调度验证机制。这种设计旨在兼顾草稿生成的速度与最终输出的连贯性。此外,该框架具备动态适应能力,能够依据当前的系统负载情况,灵活调整验证长度,从而在不同压力场景下均能实现高效的推理加速。

资料来源与整理说明

本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述,未将其视为本站实测或独家采访结论。

  1. APPSO原始资料发布于

以上日期为原始资料发布日期;标题下方日期为本文在 AI最前沿的发布时间。

相关阅读

全部资讯
Ai最前沿