合成数据生成遭遇路由瓶颈
ZenteiQ 是一家由印度科学理工学院（IISc）孵化、Sashikumaar Ganesan 教授创立的 AI 初创公司，目前正致力于开发名为 Dhir 的科学基础模型家族，涵盖 2B、5B、9B 及 35B 参数规模，旨在深入理解复杂的物理系统。据媒体报道，该公司曾在 2025 年 9 月获得 IndiaAI Mission 提供的 7.5 亿卢比资助，用于训练 80 亿参数的科学模型。
在为模型扩展合成数据生成流水线的过程中，ZenteiQ 遇到了严重的路由瓶颈。此前采用的标准 Kubernetes ClusterIP 轮询负载均衡机制无法感知后端引擎的负载，导致引擎队列出现不均以及冗余的前缀计算，使流水线单次运行中的吞吐量波动高达 50%。
部署基于 llm-d 的 GKE 智能推理网关
为化解生成流水线中的调度瓶颈，ZenteiQ 部署了由开源分布式推理框架 llm-d 驱动的 GKE Inference Gateway。llm-d 1.0 是一个 Kubernetes 原生的分布式大语言模型推理技术栈，为 CNCF Sandbox 项目，由 Google、Red Hat、IBM 等 25 家以上机构联合创建。
该网关持续监控 vLLM 端点的实时队列深度与 KV 缓存利用率，能够提供负载感知和前缀缓存感知路由，将繁重的提示词分发至具备空闲容量的节点，同时将匹配科学指令的请求精准路由至已缓存相应前缀的节点。
推理吞吐量实现 4.07 倍提升
根据官方公布的数据，相较于原有的标准轮询机制，利用负载感知与前缀缓存感知路由后，ZenteiQ 实现了 4.07 倍的聚合推理吞吐量增长。在每 1000 个 TPU v6e 加速器上，每日生成的 Token 容量从 14.7 亿大幅增加到 59.7 亿。
这种统一的网关架构允许 ZenteiQ 在同一网关下管理所有模型家族和服务节点的流量，使科研人员无需从模型开发中分心去构建和维护定制化的推理调度器。