探见世界

模型

NVIDIA开源Nemotron-3.5多模态大模型 采用NVFP4量化与MoE架构

2026年10月15日,NVIDIA在Hugging Face上开源了视觉-语言模型Nemotron-3.5-Super-VL-120B-A12B-NVFP4。该模型总参数量为1200亿,前向推理激活参数为120亿,专为Blackwell架构的NVFP4格式设计,支持最高100万Token上下文,面向高吞吐Agent工作流。

管理员上传的文章候选图片
编辑视觉管理员上传的文章候选图片。图片来源:管理员上传

模型发布与核心硬件适配

2026年10月15日,NVIDIA在Hugging Face官方账号发布了名为nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4的开源模型。该模型总参数量为1200亿(120B),在推理阶段每次前向传递激活的参数量为120亿(12B)。

模型名称中的NVFP4代表NVIDIA专为Blackwell架构设计的4位浮点数据格式。该版本模型大小约为75.1GB,可在单台DGX Spark (GB10)设备上运行。

该模型属于开源发布,支持组织利用自有数据进行事后训练并部署在自有基础设施中。目前模型已上线Hugging Face、OpenRouter以及提供限时免费的Kilo by Anaconda平台。

架构设计与量化技术细节

在网络架构层面,该模型采用了混合Mamba-Transformer的混合专家(MoE)架构,并保留了共享的多Token预测(MTP)权重,用于推测性解码以提升生成速率。

作为视觉-语言(VL)模型,其底层整合了Nemotron-H混合语言解码器、RADIO或C-RADIO视觉编码器、视觉投影仪以及专用视频时间嵌入器。该模型复用了Nemotron Omni的图像与视频技术栈,但未配置音频编码器。

该版本的NVFP4量化通过量化感知蒸馏(QAD)技术实现,利用全精度模型作为教师来指导量化后的学生模型,旨在降低显存占用并提高吞吐量的同时维持模型准确性。

长上下文处理与Agent工作流定位

Nemotron-3.5 Super VL专为高容量Agentic工作流(如IT工单自动化)、工具调用、代码编写以及文档和视频理解而设计。模型具备光学字符识别(OCR)能力,可直接解析网页、图表、UI模拟图、屏幕截图、PDF文档及MP4视频片段。

该模型支持最高100万(1M)Token的上下文窗口与最多131,072个输出Token,能够承载大型代码库或长期Agent会话。同时,开发者可通过设置开启或关闭推理模式、调整推理力度(off、medium、on)或设定硬性推理预算(reasoning_budget),以灵活平衡运行速度与成本。

在性能表现方面,NVIDIA宣称该模型在多模态Agent任务上达到了与自身最大推理模型相当的前沿精度,而参数量仅为后者的约五分之一。此外,官方数据显示在Artificial Analysis Intelligence Index排行榜上,该模型在Baseten端点处理Agent任务时吞吐量达到600 TPS以上,比同类其他开源模型最高快5倍。

企业任务微调表现与衍生系列发布

根据媒体报道,Prime Intellect与NVIDIA合作构建了2500个经过验证的企业任务,在11小时的事后训练内,将Nemotron-3.5 Super VL在AutomationBench-AA基准测试上的成绩由34.0%提升至57.7%。

除Super VL之外,NVIDIA同日还发布了针对本地Agent工作负载优化的Nemotron 3.5 Bolt 74B-A9B 24GB边缘模型;另一款面向快速对话Agent优化的Nemotron 3.5 Bolt E4B 4GB边缘模型预计将于10月23日发布。

信息来源(1)

这篇文章对你有帮助吗?