快讯前沿资讯

智谱推出下一代大模型推理网络架构 ZCube

约 1 分钟阅读

AI最前沿 88Z.ai 5 月 21 日消息,智谱联合驭驯网络与清华大学发布ZCube架构,通过取消Spine层解决PD分离推理拥塞。实测显示该架构显著降低硬件成本并提升GPU吞吐与响应速度,为超大规模推理集群提供高效基础。

消息要点

  • ZCube取消Spine层,采用扁平化拓扑解决推理拥塞
  • 实测降低33%网络成本,GPU吞吐提升15%
智谱推出下一代大模型推理网络架构 ZCube 配图
智谱推出下一代大模型推理网络架构 ZCube 配图

要点

智谱AI携手驭驯网络及清华大学共同推出新一代大模型推理网络架构ZCube。该架构专为解决预填充与解码分离带来的推理拥塞难题而设计,通过取消传统Spine层,采用扁平化拓扑结构及单多轨混合接入方式优化数据传输。在GLM-5.1 coding场景的实测中,ZCube展现出显著的性能优势与成本效益。数据显示,交换机及光模块成本降低33%,GPU推理吞吐量提升15%,首Token时延P99指标大幅下降40.6%。这一创新为构建下一代超大规模推理集群提供了高效、经济的基础设施底座。

资料来源与整理说明

本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述,未将其视为本站实测或独家采访结论。

  1. 智谱原始资料发布于

以上日期为原始资料发布日期;标题下方日期为本文在 AI最前沿的发布时间。

相关阅读

全部资讯
Ai最前沿