Google Cloud 宣布为其托管数据处理服务 Dataflow 推出两项更新:批量作业的暂停/恢复(Pause/Resume)功能正式商用(GA),同时新增对搭载 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 的 G4 虚拟机的支持。
批量作业支持暂停与恢复
Dataflow 用户经常运行耗时数天的大规模批量工作负载。据 Google Cloud 介绍,此前这类作业一旦失败,用户无法访问故障前已处理的数据,只能从头重新执行整个作业,导致计算资源浪费和工程效率下降。
新推出的暂停/恢复功能允许用户在长周期批量作业失败后从中断处继续执行,而无需重新开始。此外,用户也可以根据业务需求主动暂停和恢复作业。在 AI 工作负载场景中,这意味着可以将加速计算资源(如 GPU、TPU)从优先级较低的正在运行的批量作业中动态释放,重新分配给特征工程或 AI 推理等更高优先级的任务。
引入 RTX PRO 6000 Blackwell GPU 加速推理
在硬件层面,Dataflow 现已支持由 NVIDIA RTX PRO 6000 Blackwell GPU 驱动的 G4 虚拟机。根据公布的信息,相比现有的 NVIDIA L4 GPU,RTX PRO 6000 Blackwell 提供 96GB vGPU 显存和 1.6 TB/s 带宽,可带来显著的性能提升。
这一配置使用户能够直接在 Dataflow 作业中对参数规模超过 700 亿的模型执行 AI 推理。该能力可与 Dataflow 原生的机器学习功能结合使用,包括 RunInference、right fitting 以及支持 GPU 的自动扩缩容,从而在无需管理底层基础设施或手动调优的情况下扩展推理作业。
