Nemotron-Labs-TwoTower快速摘要
Nemotron-Labs-TwoTower是NVIDIA于2026年发布的扩散大语言模型，采用双塔架构实现块级并行生成，在保持98.7%模型质量的同时实现2.42倍生成吞吐量，适用于智能体开发、代码生成和长文本处理场景。
- 模型名称：Nemotron-Labs-TwoTower-30B-A3B-Base-BF16
- 开发公司：NVIDIA Corporation
- 发布时间：2026年7月
- 模型类型：扩散大语言模型（Diffusion LLM）
- 参数规模：约60B参数，双30B Tower架构
- 上下文长度：128K Tokens
- 训练规模：25T预训练Token+2.1T扩散训练Token
- 性能数据：质量保留率98.7%，生成吞吐量提升2.42倍
- 基准测试：MMLU 78.24，ARC-Challenge 92.66，GSM8K 90.14
- 开源情况：开放权重发布，支持商业使用
- 适用场景：智能体开发、代码生成、长文本生成、企业AI应用
Nemotron-Labs-TwoTower的核心优势
- 双塔扩散架构：模型将上下文理解与内容生成拆分到两个独立网络中，Context Tower负责维护上下文状态，Denoiser Tower负责扩散生成，从而避免传统自回归模型逐Token生成带来的速度瓶颈。
- 生成速度提升明显：默认配置下质量保留率达到98.7%，生成吞吐量达到自回归基线模型的2.42倍，在保持模型能力基本不变的前提下获得更高生成效率。
- 兼容现有大模型体系：Nemotron-Labs-TwoTower直接基于Nemotron-3-Nano-30B-A3B改造而来，无需重新构建完整模型体系，更容易迁移已有训练成果与推理能力。
- 超长上下文支持：模型支持128K上下文窗口，可处理超长文档、复杂知识库以及长链任务，对于企业级智能体和文档分析场景更加友好。
- MoE架构降低成本：总参数规模约60B，但每个Tower仅激活约3B参数，128个专家中仅激活部分专家参与推理，在保证性能的同时控制计算开销。
Nemotron-Labs-TwoTower的核心功能
- Mask Diffusion生成：模型采用块级扩散生成方式，每轮同时预测多个Token，通过逐步去噪完成文本生成，相比传统逐Token解码拥有更高吞吐能力。
- Mock-AR模式：支持双塔自回归模式运行，由Context Tower维护历史状态，Denoiser Tower预测下一个Token，方便开发者验证扩散与AR模式差异。
- 标准AR推理：模型保留传统自回归生成能力，可仅使用Context Tower运行，实现与普通大语言模型类似的生成体验。
- 代码生成能力：在HumanEval测试中获得75.58成绩，在MBPP-Sanitized测试中获得74.28成绩，可用于代码补全、函数生成和开发辅助场景。
- 数学与推理任务：在GSM8K取得90.14准确率，在MATH-500达到80.60成绩，能够支持数学计算、逻辑分析及复杂问答任务。
Nemotron-Labs-TwoTower的技术原理
- 双塔协同机制：左侧Context Tower负责处理已确认文本并维护KV Cache与Mamba状态，右侧Denoiser Tower对噪声Token块执行去噪生成，两者通过跨层注意力连接。
- 混合Mamba架构：每个Tower包含52层网络结构，由23层Mamba-2、6层Attention和23层MoE组成，兼顾长序列处理能力与推理效率。
- 块级扩散生成：系统以Block Size为单位生成内容，默认块大小为16，每个块经过多轮扩散迭代后一次性提交多个Token，而非逐Token输出。
- 时间条件控制：模型引入AdaLN Time Conditioning机制，根据当前噪声水平动态调整去噪过程。论文实验显示加入该机制后生成、代码和数学能力均获得提升。
- 冻结上下文塔训练：训练过程中保持Context Tower冻结，仅训练Denoiser Tower。实验显示该方案比共享权重或联合训练方案能够获得更好的整体质量表现。
Nemotron-Labs-TwoTower与主流模型对比
| 对比维度 | Nemotron-Labs-TwoTower | LLaDA |
|---|
| 发布机构 | NVIDIA | LLaDA研究团队 |
| 架构设计 | 双塔结构，冻结Context Tower与可训练Denoiser Tower协同生成 | 单塔Transformer统一承担上下文建模与扩散去噪 |
| 总参数量 | 约60B，总激活参数约3B | 约8B稠密参数 |
| 基座模型 | Nemotron-3-Nano-30B-A3B | 原生Transformer架构 |
| 训练数据规模 | 约2.1T扩散训练Token | 约2T Token |
| 质量保留率 | 98.7% | 约95% |
| 吞吐提升 | 2.42× | 约1.5× |
| 推理模式 | Mask Diffusion、Mock-AR、AR三种模式 | 扩散生成模式 |
| 注意力机制 | 因果注意力+块内双向注意力+跨塔注意力 | 统一双向注意力 |
| 核心创新 | 上下文建模与去噪生成职责解耦 | 验证扩散LLM规模化训练可行性 |
当前主流大模型市场仍以GPT-5.5、Claude Fable 5、Gemini 3.1 Pro、DeepSeek-V4和Qwen3等自回归模型为主。Nemotron-Labs-TwoTower与LLaDA则属于扩散语言模型路线，两者重点并非提升通用能力排名，而是探索更高效的文本生成机制。从公开数据来看，Nemotron-Labs-TwoTower通过双塔解耦设计，在保持98.7%基线质量的同时实现2.42倍生成吞吐量，速度优势明显；LLaDA则通过单塔扩散架构验证扩散模型向大规模语言模型扩展的可行性。对于关注下一代推理架构、智能体基础模型和高吞吐生成场景的开发者而言，这两类模型比传统聊天模型更具研究价值。
如何使用Nemotron-Labs-TwoTower
- 获取模型：从Hugging Face下载Nemotron-Labs-TwoTower权重，推荐使用BF16版本部署，确保服务器具备足够显存资源。
- 配置运行环境：安装
Transformers及依赖库，扩散模式推荐使用2张H100或A100 80GB显卡，分别承载两个Tower运行。 - 选择生成模式：开发者可根据需求选择
Mask Diffusion、Mock-AR或AR模式。性能测试场景优先使用Mask Diffusion模式。 - 设置生成参数：默认
Block Size设置为16，Confidence Threshold设置为0.8，该组合能够取得98.7%质量保留率和2.42倍吞吐量。 - 优化推理效果：较小Block Size通常带来更高生成质量，较大Block Size可提高速度，可根据实际业务需求平衡质量与性能。
Nemotron-Labs-TwoTower的局限性
- 硬件要求较高：完整扩散推理通常需要2张80GB级GPU，显存需求明显高于普通开源模型，对于中小团队部署门槛较高。
- 速度与质量存在权衡：论文测试显示不同Block Size会影响质量和吞吐量，速度提升越高，模型输出质量可能出现一定下降。
- 生态仍在发展：扩散大语言模型目前仍属于较新的技术路线，相关框架、工具链和社区资源数量仍少于主流自回归模型生态。
Nemotron-Labs-TwoTower相关资源
- HuggingFace模型库：https://huggingface.co/collections/nvidia/nemotron-labs-twotower
- arXiv技术论文：https://arxiv.org/pdf/2606.26493
Nemotron-Labs-TwoTower的典型应用场景
- 企业智能体：输入企业知识、业务规则和流程文档，结合长上下文能力完成复杂任务执行，提高企业自动化处理效率。
- 代码开发助手：输入需求描述或代码片段，生成函数实现、调试建议和代码补全内容，提高开发效率。
- 长文档分析：输入数万字合同、报告或研究资料，通过128K上下文窗口完成总结、问答和信息提取任务。
- 数学推理系统：输入数学题目或逻辑问题，利用模型在GSM8K和MATH-500中的能力完成计算与推导。
- 内容生成平台：输入文章主题、提纲或创作要求，利用扩散生成机制完成长文本创作并减少生成等待时间。
Nemotron-Labs-TwoTower常见问题
Nemotron-Labs-TwoTower怎么用？
用户可通过Transformers框架加载模型权重运行，支持Mask Diffusion、Mock-AR和AR三种模式。
Nemotron-Labs-TwoTower免费吗？
模型权重已经公开发布，开发者可以下载并部署使用。但实际运行需要较高硬件资源，因此仍需承担GPU和服务器成本。
Nemotron-Labs-TwoTower和LLaDA有什么区别？
两者均属于扩散语言模型。Nemotron-Labs-TwoTower采用双塔架构，在公开测试中实现98.7%质量保留率和2.42倍生成吞吐量；LLaDA采用单塔架构，更侧重扩散LLM研究验证。关注生成效率可优先关注Nemotron-Labs-TwoTower。
Nemotron-Labs-TwoTower支持智能体开发吗？
支持。Nemotron模型家族本身面向智能体应用设计，128K上下文和长文本处理能力适合构建企业知识助手和任务执行系统。
Nemotron-Labs-TwoTower为什么生成速度更快？
传统模型一次生成一个Token，而TwoTower采用块级扩散生成机制，一次可并行处理多个Token，因此在默认配置下实现了2.42倍生成吞吐量提升。
