Nemotron-Labs-Diffusion是什么
Nemotron-Labs-Diffusion 是 NVIDIA 推出的三模式语言模型，在单一架构内统一自回归、扩散和自我推测解码。通过联合 AR-扩散目标训练，模型可在不同并发场景下切换模式维持高吞吐量。该系列包含 3B、8B、14B 参数的基础、指令和视觉语言模型，在准确率和速度上均超越现有开源 AR 和扩散语言模型。
Nemotron-Labs-Diffusion的主要功能
- 三模式解码切换：支持 AR、扩散、自我推测三种解码模式，通过改变注意力模式可在单一模型内无缝切换。
- 块级扩散并行生成：采用块级扩散公式，将序列分块后在块内双向并行解码，单次前向生成多个 token。
- 自我推测草稿验证：扩散并行生成多 token 草稿，AR 在同一模型内验证，共享 KV 缓存且无需辅助预测头。
- 视觉语言理解：提供视觉语言模型变体，支持图像理解与图文推理，扩展多模态应用边界。
- 高效推理部署：支持 FP8 低精度格式，结合 SGLang 框架在 GB200 GPU 上实现高吞吐量服务。
Nemotron-Labs-Diffusion的技术原理
- 联合 AR-扩散目标训练：模型同时优化自回归 next-token 损失和块级扩散去噪损失，加权组合（α=0.3）平衡两者。AR 目标为扩散提供从左到右的语言先验，防止扩散训练浪费容量在任意 token 排列上；扩散目标则增强模型的前瞻规划能力。
- 两阶段训练策略：第一阶段仅用 AR 目标预训练，建立强大的左到右语言归纳偏置；第二阶段开启联合训练，使扩散梯度补充，实现两种目标的和谐融合。
- 结构化注意力模式：训练时采用双流输入，噪声流中 token 在块内双向注意力、跨块因果注意力，并关注干净流中的已生成前缀；干净流则保持严格因果掩码，使 AR 目标与扩散目标可在同一前向-反向传播中联合计算。
- 全局损失平均：针对扩散目标中不同样本噪声 token 数量变化导致的梯度方差问题，采用全局 token 级损失平均，按批次中所有 token 平等加权，避免少数高权重噪声样本 disproportionately 影响批次梯度。
- 最优采样与 LoRA 增强：扩散模式配合基于采样轨迹优化的采样器提升并行度；自我推测模式可附加 LoRA 草稿适配器增强草稿质量，提高接受率和实际设备效率。
微信关注回复“开源”，加入AI开源项目交流群
如何使用Nemotron-Labs-Diffusion
- 安装依赖：执行
pip install "transformers>=5.0" torch peft 等命令，准备 Python 与 GPU 环境。 - 获取模型：从 HuggingFace 拉取
nvidia/Nemotron-Labs-Diffusion-8B 等模型权重及对应分词器。 - 选择模式：根据并发水平选择 AR 模式（高并发）、扩散模式（最大并行）或自我推测模式（低延迟）。
- 运行脚本：使用
chat_ar.py、chat_dlm.py 或 chat_linear_spec.py 等官方脚本进行单轮或多轮对话推理。 - 服务部署：基于 SGLang 框架启动推理服务，配置 Linear Self-Speculation 与 FP8 精度，接入生产环境。
Nemotron-Labs-Diffusion的核心优势
- 三模式统一架构：单一模型同时掌握 AR 语言先验与扩散并行规划能力，无需维护多套模型与管线。
- 吞吐量显著提升：8B 模型单次前向解码 token 数达 Qwen3-8B 的 6 倍，GB200 上 SPEED-Bench 吞吐量提升 4 倍。
- 自我推测优于 MTP：自我推测模式的接受率和实际设备效率均优于多 token 预测（MTP）方法。
- 双目标和谐训练：全局损失平均与两阶段策略有效平衡双目标梯度，避免模式间的容量竞争。
- 场景自适应切换：通过切换注意力模式即可适配云侧高并发与端侧低并发场景，无需架构改造。
Nemotron-Labs-Diffusion的项目地址
- HuggingFace模型库：https://huggingface.co/collections/nvidia/nemotron-labs-diffusion
- arXiv技术论文：https://arxiv.org/pdf/2607.05722
Nemotron-Labs-Diffusion的同类竞品对比
- 实时对话助手：低并发场景下用自我推测模式，实现低延迟交互式 AI 对话，提升用户体验。
- 云推理服务：AR 模式适配高并发批量请求，充分用 GPU 计算密度，降低云端部署成本。
- 代码与数学推理：扩散模式增强前瞻规划，适合需要多步逻辑推导的编程辅助和数学求解任务。
- 端侧本地推理：8B 模型可在个人设备运行，三模式切换适配不同负载，保障数据隐私。
- 视觉语言应用：视觉语言模型变体支持图像理解与图文问答，适用于智能文档分析与多模态交互。
Nemotron-Labs-Diffusion的应用场景
- 实时对话助手：低并发场景下使用自我推测模式，实现低延迟交互式 AI 对话，提升用户体验。
- 云推理服务：AR 模式适配高并发批量请求，充分利用 GPU 计算密度，降低云端部署成本。
- 代码与数学推理：扩散模式增强前瞻规划，适合需要多步逻辑推导的编程辅助和数学求解任务。
- 端侧本地推理：8B 模型可在个人设备运行，三模式切换适配不同负载，保障数据隐私。
- 视觉语言应用：视觉语言模型变体支持图像理解与图文问答，适用于智能文档分析与多模态交互。
