核心控制平面达生产级成熟度，llm-d 1.0 正式亮相
2026年10月20日，在北美 PyTorch 大会上，开源 AI 基础设施项目 llm-d 正式宣布发布 1.0 版本。llm-d 是一个基于 Kubernetes 的高性能分布式大语言模型（LLM）推理框架，由 Red Hat、IBM Research、Google Cloud、CoreWeave 和 NVIDIA 联合创立，并已于 2026 年 3 月 12 日被云原生计算基金会（CNCF）正式接受为 Sandbox 级别项目。
该版本的发布标志着 llm-d 的核心控制平面达到了生产级成熟度，完整覆盖路由、解耦和 KV 缓存等核心功能。IBM Research 杰出工程师兼项目联合创始人 Carlos Costa 声明表示，llm-d 1.0 已具备像其他关键服务一样稳定运行的能力，不仅提供稳定的 API，还支持多租户共享基础设施以及不中断操作的在线升级。
突破状态化推理瓶颈：解耦与前缀感知调度
Kubernetes 作为业界标准的容器编排系统，最初并非针对大型语言模型推理高度状态化和动态化的负载特征设计。在生成式 AI 工作负载中，请求的计算成本差异巨大，取决于提示词长度、模型架构、缓存局部性以及请求处于计算密集型的 Prefill 阶段还是内存密集型的 Decode 阶段。在此背景下，llm-d 与 GKE Inference Gateway 等技术的出现，旨在将 Kubernetes 演进为能够应对此类复杂编排挑战的现代 AI 基础设施。
在技术架构上，llm-d 提供了智能推理调度、感知前缀缓存的路由、Prefill 与 Decode 解耦以及分层 KV 缓存卸载等关键能力，并支持跨 NVIDIA、AMD、Intel 和 Google TPU 等多种硬件加速器运行。相关技术分析显示，Prefill/Decode 解耦与分层 KV 缓存卸载直接针对了长上下文和多轮对话 Agent 面临的内存瓶颈与前缀驱逐难题。
软硬协同：Ironwood TPU 与推论时代布局
Google Cloud 提出了“推论时代”概念，认为 AI 模型正在从被动提供实时信息转变为主动获取数据并生成洞察的 Agent 驱动模式，这种转变带来了处理多步骤操作、强化学习展开以及应对突发大规模并发请求等全新基础设施挑战。llm-d 1.0 的发布、Ironwood TPU 的全面可用以及 Agent Substrate 的推出，共同构成了 Google Cloud 针对下一代 AI Agent 工作负载的底层技术栈布局。
在硬件层面，Google Cloud 推出的第 7 代 TPU Ironwood（TPU7x）于 2025 年 4 月首次发布，并于 2026 年 3 月全面可用，是 Google 首款专为推理阶段设计的 TPU。根据 Google 官方文档与声明，Ironwood 采用 MegaCore 架构，每个芯片组包含 1 个 TensorCore、2 个 SparseCore 和 96 GB 高带宽内存；在最大配置下一个 Pod 可容纳 9,216 个液冷芯片，提供 42.5 Exaflops（FP8）计算能力；该芯片是首个在矩阵乘法单元中原生支持 FP8 的 TPU 世代，理论吞吐量可达 BF16 的两倍，且官方数据显示其相比前代 TPU v5p 碳效率提升了 3.7 倍，电力效率提升近 2 倍。
Agent 执行环境优化与开放生态标准
在 Agent 执行环境方面，开源 Agent 执行运行时 Agent Substrate 于 2026 年 9 月在 Google Kubernetes Engine（GKE）上推出。Google 官方主张其能以比标准容器运行时高 10 倍的密度运行数百万个沙盒，提供低于 500 毫秒的恢复操作与每秒超过 500 次的挂起/恢复激活能力，并具备原生零信任内核和网络隔离；同时通过在 Agent 空闲时卸载卷并终止计算环境来节约成本，并在 Filestore 卷中保留工作区文件以供任务到达时迅速恢复。
Red Hat 在声明中指出，将 llm-d 捐赠给 CNCF 旨在解决 AI 实验与大规模关键任务生产推理之间的能力差距，目标是建立分布式推理的开放标准。业内分析认为，通过联合多家软硬件供应商与云服务商并依托中立基金会推进，该项目正致力于在竞争激烈的 AI 推理领域建立一套摆脱单一专有供应商锁定的开放标准体系。