无边界湖仓与 Gemini 集成

企业正在把 AI 从实验性聊天机器人转向自主智能体,瓶颈随即出现:数据分散在多个云、SaaS 和本地系统,智能体要访问并推理这些数据,又不想因为移动数据而引入安全风险。Google Cloud 在 Gemini at Work 活动上宣布了 Gemini 与 borderless Lakehouse 的新集成,让 Gemini 直接访问湖仓中的数据。该功能目前是 preview 状态,用户可以通过 Lakehouse catalog federation 接入 Databricks Unity Catalog、Snowflake Horizon 等新数据源。业务人员用自然语言就能查询跨云记录,智能体也用同一份数据做 grounding 和生成代码,全程不移动数据。

同批发布的还有几个今年早些时候推出的湖仓能力,如今进入 GA:支持 Cross-Cloud Interconnect 和跨云缓存(面向 AWS 和 Azure);BigQuery 支持 Apache Iceberg V3 规范;BigQuery 与 Managed Service for Apache Spark 在 Iceberg 表上实现读写互操作;AlloyDB lakehouse federation;通过 Lakehouse runtime federation 与 AWS Glue、Databricks Unity Catalog、Snowflake Horizon Catalog 双向缓存;与 Knowledge Catalog 集成;零拷贝集成 Salesforce、SAP、Workday,并新增 Confluent Tableflow;用 Dataflow 从 Lakehouse console 同步 Databricks Delta Lake 资产。

性能上的现实是,agent 的上下文窗口通常只能装入几百 KB,而企业工作流有时要跨云 join PB 级数据。如果走 MCP,受上下文窗口和载荷大小限制,只能到 MB 级。borderless Lakehouse 的选择是在数据与 AI 栈的每一层做集成,让 agent 以接近本地存储的性能处理 PB 级数据。网络层用 Cross-Cloud Interconnect 建立 Google Cloud 到 AWS 或 Azure 的专用连接,每连接 10 Gbps 或 100 Gbps,查询不再走公共互联网,延迟低且可预测。跨云缓存则让重复读留在 Google Cloud 内部,避免可变的出口费用。

在引擎层面,BigQuery 对 Iceberg V3 的支持带来 binary deletion vectors 和 sort orders,行级更新删除不必重写整个数据文件。新的基于 FlatBuffers 的 Parquet reader 和并行 I/O 降低了 CPU 开销与序列化瓶颈,缩小开放格式和原生存储之间的性能差距。配合 BigQuery fluid scaling 和基于历史的优化,agent 常见的成批小查询可以更快、更省地跑完。BigQuery 还为 Iceberg 加入图支持,可以直接分析供应链这类关系网络。操作型数据则由 AlloyDB lakehouse federation 覆盖,从单一连接同时查实时数据库和历史数仓,不复制数据。

元数据层由基于 Apache Iceberg REST Catalog 的 Lakehouse runtime catalog 把守,与 AWS Glue、Databricks Unity Catalog、Snowflake Horizon Catalog 双向联合,并提供 Hive Metastore 兼容端点,让 Spark、Trino、Presto 不用改架构就能发现元数据。Knowledge Catalog 自动索引分布式数据资产,包括 Cloud Storage 中的非结构化数据,为 agent 提供业务元数据和语义定义,同时控制 token 消耗。SaaS 数据(Salesforce、SAP、Workday)以零拷贝方式进入湖仓;新扩展的 Confluent Tableflow 也已 GA,同步进 runtime catalog 后,Iceberg 表直接出现在 BigQuery,不需要复制和额外 ETL。Databricks 为主的组织可以用 Dataflow 在 Lakehouse console 中导入和同步 Delta Lake 资产。

Google 称 Apache Iceberg 使用量自 2025 年初以来增长超过三倍。客户案例里,Etsy 用 borderless Lakehouse 统一了 3 PB 数据,原地 join 数据,pipeline 查询加速 60%;Commerzbank 把原始分布式数据转成受管控、agent-ready 的访问形态;Hightouch 直接在开放 Iceberg 湖仓上做营销;Roundel 则重建了 Target Product Ads 的整套数据链路。对于仍在使用 legacy Dataproc Metastore 的组织,Google 提供了自动、零停机的迁移路径到 serverless Lakehouse runtime catalog,保留已有 schema 和 lineage。

Borderless lakehouse integrates with Gemini

查看原文