NVIDIA 宣布扩展 NVIDIA NVLink Fusion 平台，新增 NVHBM 定制高带宽内存技术。随着 AI Agent 和万亿参数工作负载成为主流，AI 基础设施的性能不仅取决于算力，还取决于计算、内存、存储、网络与软件作为统一系统的协同设计。NVHBM 面向超大规模云服务商和 AI 创新企业，用于构建下一代半定制 AI 基础设施。
NVHBM 架构变化与性能指标
传统 HBM 架构将内存控制器放置在 XPU 裸片上，占用本可用于计算的硅片面积。NVHBM 基于 NVIDIA 未来 GPU 将采用的技术，把定制内存控制器集成到 HBM 基底裸片中，使控制器位于 3D HBM 堆叠内部而非 XPU 上。
根据 NVIDIA 公布的数据，与标准 HBM4E 相比，NVHBM 可提供最高 30% 的内存带宽提升，HBM 功耗降低 15%，并为 XPU 计算裸片释放最多 25% 的面积。NVIDIA 正在建立标准的 NVHBM 实现方案，由多家内存供应商提供验证与支持，以减少跨供应商集成和认证所需的工程投入。
Amazon Annapurna Labs 率先采用
Amazon 旗下的 Annapurna Labs 将成为首家基于 NVLink Fusion 合作框架开发 NVHBM 的团队。Annapurna Labs 将在 NVHBM 技术和 NVLink 纵向扩展架构上与 NVIDIA 协作，以提升 AI 工作负载的性能和效率。
从 Trainium4 开始，Annapurna Labs 的下一代 Trainium 芯片将支持 NVLink Fusion，使 Amazon 自研芯片与 NVIDIA GPU 能够在统一的机架级架构下协同工作。Annapurna Labs 副总裁 Nafea Bshara 表示，NVHBM 代表了一种推进高带宽内存性能与效率的新架构方法，期待通过这一技术合作为未来的 AWS 基础设施设计带来收益。
NVLink Fusion 的开放架构
NVLink Fusion 允许合作伙伴将定制 XPU 和 CPU 连接至 NVIDIA 的机架级平台。合作伙伴可使用 NVIDIA NVLink chiplet、NVLink-C2C、NVLink Switch、NVIDIA MGX 系统及机架，以及由 CPU 合作伙伴、ASIC 设计商、系统制造商和技术提供商组成的生态。
NVLink Fusion 随 NVIDIA 每一代机架级系统架构同步提供，使超大规模云服务商和 AI 原生公司能够将工程资源集中在 XPU 创新上，同时利用经过验证的技术栈处理纵向与横向扩展网络、机架级系统和软件，从而以更低的部署风险推进半定制 AI 基础设施落地。