快讯前沿资讯

腾讯混元团队开源投机解码框架 AngelSpec

约 2 分钟阅读

AI最前沿 88Z.ai 7 月 30 日消息,腾讯混元团队开源投机解码框架 AngelSpec,覆盖 drafter 训练、架构设计到线上部署全链路,同步开源 Hy3-A21B 的 MTP 与 DFly drafter 权重及训练代码。DFly 在 4 至 64 并发取得 SOTA,较自回归基线平均加速 1.98–2.40 倍,代码数学峰值 2.86 倍;D-cut 高并发额外提升吞吐 15.7%,MTP 结合 TTT 将对话接受率从 52.8% 提至 66.4%。

消息要点

  • AngelSpec 开源全链路投机解码方案及 Hy3-A21B 相关权重代码
  • DFly 实现平均 1.98-2.40 倍加速,MTP 结合 TTT 提升对话接受率至 66.4%
腾讯混元团队开源投机解码框架 AngelSpec 配图
腾讯混元团队开源投机解码框架 AngelSpec 配图

要点

腾讯混元团队正式开源投机解码框架 AngelSpec,该方案完整覆盖了从 drafter 模型训练、底层架构设计到最终线上部署的全链路流程。与此同时,团队同步公开了 Hy3-A21B 模型相关的 MTP 与 DFly drafter 权重及其训练代码,供开发者直接使用。 性能测试显示,DFly 在 4 至 64 的并发区间内达到业界最先进水平。相比传统的自回归基线,其平均推理速度提升 1.98 至 2.40 倍,在代码生成与数学任务中峰值加速可达 2.86 倍。此外,D-cut 技术在高并发场景下能额外增加 15.7% 的吞吐量,而 MTP 结合 TTT 策略则将对话接受的比率由 52.8% 显著提升至 66.4%。

资料来源与整理说明

本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述,未将其视为本站实测或独家采访结论。

  1. 腾讯混元原始资料发布于

以上日期为原始资料发布日期;标题下方日期为本文在 AI最前沿的发布时间。

相关阅读

全部资讯
Ai最前沿