在全球加速器供应紧张的背景下，工程团队往往需要从多个地理位置分散的数据中心拼凑算力。与此同时，当前长时间运行的 Agent 工作负载上下文窗口常达 10 万至 80 万以上 token，对加速器显存的消耗速度远超以往。为解决碎片化基础设施导致的资源闲置与请求排队问题，Google Cloud 构建了一套分层路由架构：边缘层由多集群 GKE Inference Gateway 负责全球多区域流量分发与高可用；其下层的 LLM-d 路由器则处理内存感知调度算法以维持高利用率。
该架构被设计为运行时、模型和加速器无关，可跨服务框架、模型家族以及 GPU 或 TPU 硬件运行。
跨区域基准测试表现
根据 Google Cloud 公布的内部测试，该方案近期在一项生产级规模基准测试中得到了验证。测试部署覆盖 17,000 个计算节点，横跨美国与欧洲的三个 GKE 集群（us-east5、us-west8、europe-west4），使用 SGLang 运行一个主流的 MoE 基础模型。客户端视角下，所有请求均指向单一全球虚拟 IP，地理分布对其不可见。
测试数据显示，从单集群扩展至三集群时，吞吐量呈近线性增长，并在高并发下维持了约 99.9% 的成功率：
- 1 个集群（us-east5-a）：请求吞吐量 0.72 req/s，Token 吞吐量 2,898 tok/s，成功率 99.87%
- 2 个集群（增加 us-west8-a）：请求吞吐量 1.40 req/s，Token 吞吐量 6,380 tok/s，成功率 99.95%
- 3 个集群（增加 europe-west4-b）：请求吞吐量 2.10 req/s，Token 吞吐量 8,457 tok/s，成功率 99.90%
在多集群 GKE Inference Gateway 中，配置集群持有路由配置但不处于请求路径上，各目标集群运行自己的 Endpoint Picker Proxy (EPP) 并向负载均衡器报告指标。测试表明，通过该网关路由流量引入的额外开销低于 1%，实现了直接本地集群调用 99.5% 的吞吐量。
基于 KV-cache 利用率的内存感知路由
传统的网络层轮询路由将每个请求视为等同，无法应对大语言模型推理的实际压力分布——重度提示词会饱和 GPU 计算核心，长文本生成消耗内存带宽，而长上下文对话则会持续占用 VRAM 直至引擎无法调度新任务。
在此次部署中，EPP 原生读取底层推理引擎暴露的 KV-cache token 利用率，并将其作为指标发送给负载均衡器。通过将推理引擎的原生 token 使用指标映射到网关的 KV-cache 信号，路由平面能够实时掌握整个 17,000 节点机群的内存压力。根据工作负载不同，网关也可基于队列深度或运行并发数等其他信号进行路由。
在实际生产负载下，当主区域的高带宽内存（HBM）接近极限、集群跨越 40% KV-cache 利用率阈值时，网关检测到饱和状态并自动开始将溢出流量路由至下一个健康区域，无需人工干预。
与分布式推理拓扑的集成
分布式 LLM 引擎的运行方式不同于标准 Web 应用。在典型的分布式模式（如跨多节点的张量并行）中，只有主（rank-0）Pod 提供 API 服务。GKE 已通过标准 Service 选择器和 LeaderWorkerSet (LWS) 处理本地路由，将流量定向至 leader Pod。多集群 Inference Gateway 集成了这一机制，使跨区域负载均衡能够开箱即用地尊重底层多节点拓扑。
对于规划分布式推理部署的团队，此次测试反映出几个技术边界：Agent 工作负载的极端上下文窗口会在算力耗尽前先占满显存，如果路由层无法感知内存压力，算力将被困在已满的 VRAM 之后；同时，传统负载均衡器针对亚秒级事务调优，而 LLM 请求可能持续数分钟，需要为 AI 级延迟提前规划连接限制与超时设置。采用 LLM-d on GKE 等开放推理栈，可使团队在任何有可用容量的区域吸收算力，而不必将服务架构硬绑定到单一集群或定制基础设施上。