# 英伟达开源双塔架构扩散语言模型 Nemotron-Labs-TwoTower

- 分类: 快讯
- 发布时间: 2026-07-03T11:58:00.000Z
- 原始资料日期: 2026-07-03
- HTML: https://www.88z.ai/news/flash-20260703-cf8b1e70ecc72fb6
- Markdown: https://www.88z.ai/news/flash-20260703-cf8b1e70ecc72fb6.md
- 另一语言: https://www.88z.ai/en/news/flash-20260703-cf8b1e70ecc72fb6.md

英伟达开源Nemotron-Labs-TwoTower模型，采用60B参数双塔架构解决Token生成瓶颈。该离散扩散语言模型结合30B自回归上下文塔与30B扩散去噪塔，通过交叉注意力协作提升效率。

## 消息要点

- 采用60B参数双塔架构，各塔仅激活3B参数以提升效率
- 通过冻结上下文塔与去噪塔的逐层交叉注意力协作解决生成瓶颈

## 要点

英伟达正式开源Nemotron-Labs-TwoTower，这是一款基于预训练自回归骨干的离散扩散语言模型，旨在突破大模型在Token生成速度上的性能瓶颈。该模型总参数量达到600亿，创新性地采用了双塔架构设计。具体而言，它包含一个300亿参数的自回归上下文塔和一个300亿参数的扩散去噪塔，而在运行过程中，每个塔仅激活30亿参数。上下文塔保持冻结状态以维护自回归上下文信息，去噪塔则专门负责噪声块的去噪处理。两者通过逐层交叉注意力机制紧密协作，共同优化生成过程。

## 资料来源

- [IT之家](https://www.ithome.com/0/972/162.htm) (2026-07-03)

本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述，未将其视为本站实测或独家采访结论。