Knowledge Catalog 扩展语义模型支持

VP 的 AI 助手回答”上季度头部企业客户净收入”时,给出的图表和财务报告对不上。原因不是模型不会写查询,而是它不知道”净收入”在你的业务里指的是什么:它把已取消订单算进去了,还查了未经验证的临时表。这种业务定义通常已经存在,只是散落在 Looker、dbt、Snowflake、Databricks、SAP 各自的语义模型里,互相锁死。每个 agent 只能靠猜,猜错是常态。

Google Cloud 今天宣布 Knowledge Catalog 扩展语义模型支持正式可用(GA)。它把这些工具里的语义模型和指标定义原生摄入到一个统一的 context graph(上下文图)中:包括 Looker LookML、BigQuery Graph(含 BigQuery measures)、dbt MetricFlow、Snowflake Semantic Views、Databricks Metric Views、SAP Core Schema Notation (CSN)。整个过程不搬数据,也不需要用新语言重写业务逻辑。摄入后,语义模型与 schema、血缘、数据画像、业务术语表等其他元数据连成一张图。agent 基于这些模型推理,用的就是分析师在用的同一套业务定义。

据官方内部基准,让 agent 的 grounding 建立在 Knowledge Catalog 上之后,回答准确率提升 近 4 倍,延迟最多降低 33%,token 用量最多减少 75%。这不是模型能力的提升,而是上下文质量的提升。

这张统一图背后有几个关键能力。第一,直接复用你已有的语义模型:Gemini agent、BigQuery Conversational Analytics 和自定义 agent 都能用上团队已经定义好的指标、过滤条件、join 路径。第二,自学习上下文:Knowledge Catalog 会把语义模型里定义良好的指标和 KPI,与从非结构化来源(运营手册、会议记录、聊天线程、代码等)提取的相关上下文配对,由 Gemini 驱动持续发现缺失或过时的上下文,变成可治理、可复用的 context sets。第三,把业务逻辑和企业信任机制连起来:同一个公式跑在过期或未认证的数据上也会出错,所以语义定义会关联数据质量评分、新鲜度信号和血缘,agent 在写 SQL 之前就知道哪些数据可信。

在实现层面,每个来源都以节点或边的形式进入同一张图。Looker LookML 通过 Live sync 索引模型、explore、视图和仪表盘,捕获编译后的指标 SQL、fan-out 安全的 join 条件、强制过滤器和从源表到仪表盘的血缘;BigQuery Graph 索引原生属性图定义、节点边表、图度量和业务同义词,agent 用 GQL 遍历图而不是脆弱的自连接;dbt MetricFlow 把源对象关联到 dbt 模型和 MetricFlow 指标,连同 dbt 数据质量测试结果、过滤器、保存的查询、freshness SLA 和下游 exposures;Snowflake Semantic Views 通过 Horizon Catalog 配对联邦 BigQuery 或 Cloud Lakehouse 表,带来维度、事实、指标公式、关系和同义词,以及 Data Metric Function 质量记分卡和 PII 掩码标签;Databricks Metric Views 通过 Unity Catalog 摄入指标视图定义、度量公式、范围过滤器和 join 基数,连同表认证徽章和 Lakehouse Monitoring 画像;SAP CSN 通过 SAP Business Data Cloud 捕获业务标签、维度/立方体建模模式、默认聚合、货币和单位绑定、键和复合 join 关联,以及数据敏感标记。不同来源的定义不会静默覆盖,重叠定义会带来源标签并列出现,由数据管理员来裁决单一版本。

Knowledge Studio(预览版)是这套体系的指挥中心。你可以用自然语言探索上下文图,在画布上沿着连接路径查看语义模型、join 路径和血缘。验证过的资产可以打包成 context sets,映射到组织里的具体用例和领域,供 Gemini 和自定义 agent 在生产环境消费。

回到开头那个净收入问题。有了 Knowledge Catalog,agent 发一次上下文查询就能发现可信资产,套用领域专家定义的指标公式和过滤器,跨系统尊重 join key,并确认底层数据通过了质量检查。这次报告上的数字是对的。

Expanded semantic model support in Knowledge Catalog

查看原文