NVIDIA 在 9 月 11 日至 14 日于阿姆斯特丹举行的 IBC 2026 大会上,宣布对 NVIDIA AI for Media 进行重大扩展。该平台包含 GPU 加速的软件开发套件(SDK)、NIM 微服务、操作手册与蓝图,用于增强媒体与娱乐工作流中的音频、视频及增强现实效果。
视频真伪检测与合规审查
NVIDIA Synthetic Video Detector(SVD)NIM 微服务可评估视频素材为真实拍摄或 AI 生成的概率。自年初在 SIGGRAPH 发布以来,SVD 在文本生成视频内容上的准确率达到 99.3%,图像生成视频内容的准确率为 97.7%。
多家厂商已宣布集成该能力:
- Dalet 将 SVD 集成到面向新闻机构的安全云端验证工作流中,编辑团队可在其界面内提交素材并查看评分与元数据。
- TwelveLabs 推出的 Compliance by TwelveLabs 应用集成 SVD,在合规审查流程中加入帧级真实性信号与置信度评分。
- Wowza 将通过 Wowza Video Intelligence Framework 分发 SVD,支持在本地、边缘、云端、混合或完全离线环境中实时分析直播视频源,提取对象、场景及 AI 生成迹象数据。
运动捕捉、帧生成与画质增强
NVIDIA 3D Body Pose 可从单台摄像机拍摄的视频中估算二维和三维人体关节位置与角度,无需基于标记点的动作捕捉系统。该技术可为体育组织提供运动员运动追踪、生物力学分析、回放增强和裁判辅助等结构化数据;映射至兼容角色骨架后,也可用于动画预演、数字替身和虚拟制作。Vizrt 已在直播虚拟演播室环境中使用该技术,通过追踪身体运动驱动实时 3D 光照效果。
Video Frame Generation(VFG)利用生成式 AI 在原始帧之间创建新帧,可将帧率提升 2 倍或 4 倍,同时保持视觉质量与时序一致性。Ross Video 正将 VFG 集成至 Rio Replay 平台,用于体育赛事转播中的 AI 辅助慢动作回放,目前支持 6 倍慢动作生成,8 倍插值正在开发中。
NVIDIA Video Super Resolution(VSR)通过 AI 提升视频分辨率并降低噪点、模糊与压缩伪影。新版本新增流媒体模式供开发者在实时性能与更高画质间选择,增加 10-bit 视频支持,并通过 Video Effects SDK 和 NIM 微服务提供给播放器、会议应用、转码器和广播系统。
NVIDIA TrueHDR 可将标准动态范围视频实时转换为高动态范围输出,亮度最高约 2,000 尼特,同时保留局部对比度。VSR、VFG 与 TrueHDR 可在同一视频特效管线中组合使用。
多语言本地化与语音处理
NVIDIA LipSync NIM 微服务可将输入视频中的口型与目标音轨匹配,同时保留自然头部姿态、眨眼和身体动作,新版本改进了面部遮挡处理并更好保留牙齿、嘴唇及面部纹理。Active Speaker Detection NIM 微服务新增语音活动检测,不再需要针对多音轨进行说话人分离,并通过 gRPC 接口扩展部署支持。
NDI 正利用 LipSync 等技术在现有广播工作流中实现实时翻译、口型同步配音和区域语言适配,从单一媒体流生成多语言体验。
Studio Voice 新增基于 NVIDIA Studio Voice NIM 微服务的麦克风配置文件功能,可抑制背景噪音、减少房间混响并改善语音清晰度,随后将增强后的输出塑造成选定的麦克风音色。
NVIDIA 还将内容本地化技术引入 Holoscan for Media 开发者工具包,提供参考工作流以统一字幕、翻译音频、配音、同步视频和本地化图形。AI-Media、CAMB.AI、Chyron 和 Panjaya 分别针对该工作流的不同环节提供支持。
Holoscan for Media 引入开放交换层
Media Exchange Layer(MXL)与 NVIDIA Holoscan for Media 的集成为软件定义的直播制作提供开放参考架构。MXL 增加了跨分布式环境交换直播视频、音频和数据的开放方式,使基于软件的媒体功能能够共享加速基础设施、动态连接并独立演进,减少应用间的定制集成需求。
Sports Intelligence Playbooks 支持专有数据微调
NVIDIA Sports Intelligence Playbooks 为联盟、媒体公司和技术提供商提供结构化框架,用于在其自有体育素材和标注上微调 NVIDIA 开放模型,构建理解特定运动规则、球员、得分与战术的多模态 AI。
这些手册覆盖数据准备、微调、推理、评估、优化和部署的完整 AI 生命周期,整合了 Nemotron、NeMo AutoModel、Megatron Bridge、NIM 微服务等技术。早期测试显示,在未见过的素材上使用类似训练格式的问题进行评估时,多项选择准确率从约 53% 提升至 94%,开放式评估从约 5.7% 提升至 66%。
Machina Sports 正将该手册与其体育原生数据、评估和 Agent 基础设施集成。借助 NVIDIA AI-Q Blueprint,组织可将领域特定的体育模型作为专家智能嵌入 Agent,在视频、企业数据和软件系统间进行推理。Wowza 也将包括 NVIDIA Cosmos 3 和 Nemotron 在内的视觉语言模型集成至其框架,通过该手册微调以检测直播流中的特定体育时刻。
