架构核心:开放标准驱动的目录联邦与直接存储访问
Google Cloud日前发布了由Praveen Kumar撰写的官方指南,详细介绍了如何利用开放标准简化跨云对话式分析。该跨云分析解决方案依托BigQuery和Google Cloud的Borderless Lakehouse,其底层技术基于开放的Apache Iceberg REST catalog规范构建。
在架构兼容性上,该方案支持与Databricks Unity Catalog、Snowflake Horizon Catalog以及AWS Glue Data Catalog建立目录联邦。查询处理完全在Google Cloud自有的计算资源(如BigQuery或Managed Service for Apache Spark)内执行,查询期间不会启动或调用远程的Databricks、Snowflake或AWS计算实例。
Google Cloud表示,该架构旨在通过将计算带到数据所在处来消除传统数据迁移需求,进而规避同步延迟、增加的存储成本以及可变的网络出口费用。在运行机制上,Lakehouse runtime catalog会依据用户定义的刷新计划,定期同步远程目录的模式、快照指针与表定义;而在查询运行时,引擎使用远程平台签发的临时凭证,直接从Amazon S3等远程对象存储读取Parquet文件。
部署模式与跨平台查询实现细节
官方推荐的部署模式分为三步:管理员需使用gcloud工具创建联邦目录,提取系统自动生成的服务账号,随后在对应的远程平台中授予该服务账号访问权限。
若与Databricks Unity Catalog对接,操作人员需在metastore中启用外部数据访问,创建Databricks Service Principal并赋予其EXTERNAL USE SCHEMA权限以支持凭证分发,同时联邦策略需要指定Issuer与Audiences对应的URL。
进入BigQuery后,联邦Iceberg表统一采用四部分路径寻址。在返回的联合查询结果中,来自Snowflake的标识符会呈现为大写,而Databricks和AWS Glue则保持小写路径格式。
面向AI代理的上下文赋能与格式兼容限制
由于联邦Iceberg表在BigQuery中表现为标准数据表,下游对话式分析功能可直接继承权限。业务用户能够通过自然语言提示探索跨云数据,官方建议将联邦多表关联保存为逻辑视图,以此为对话式交互提供操作上下文。
Google Cloud曾在2026年7月的Next Tokyo大会上介绍Borderless Lakehouse,其核心目标是实现无需移动数据的零复制集成。官方强调,打破跨云数据孤岛能为Gemini Enterprise与对话式AI代理提供实时上下文,促使其由被动查询工具演变为主动执行任务的行动系统。
在规范支持方面,Lakehouse runtime catalog实现了Iceberg REST Catalog API,支持Iceberg V2和预览阶段的V3表,但明确不支持V1表,存量V1表需升级后方可接入。分析指出,免除数据复制及潜在跨网出口费用有望降低多云数据分析与AI代理的运作成本并提升探索效率,不过跨云网络访问对复杂查询延迟的实际影响仍值得后续关注。

