AI最前沿 88Z.ai 7 月 3 日消息，英伟达开源Nemotron-Labs-TwoTower模型，采用60B参数双塔架构解决Token生成瓶颈。该离散扩散语言模型结合30B自回归上下文塔与30B扩散去噪塔，通过交叉注意力协作提升效率。
消息要点
- 采用60B参数双塔架构，各塔仅激活3B参数以提升效率
- 通过冻结上下文塔与去噪塔的逐层交叉注意力协作解决生成瓶颈
要点
英伟达正式开源Nemotron-Labs-TwoTower，这是一款基于预训练自回归骨干的离散扩散语言模型，旨在突破大模型在Token生成速度上的性能瓶颈。该模型总参数量达到600亿，创新性地采用了双塔架构设计。具体而言，它包含一个300亿参数的自回归上下文塔和一个300亿参数的扩散去噪塔，而在运行过程中，每个塔仅激活30亿参数。上下文塔保持冻结状态以维护自回归上下文信息，去噪塔则专门负责噪声块的去噪处理。两者通过逐层交叉注意力机制紧密协作，共同优化生成过程。
资料来源与整理说明
本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述，未将其视为本站实测或独家采访结论。
- IT之家原始资料发布于
以上日期为原始资料发布日期；标题下方日期为本文在 AI最前沿的发布时间。