
企业 AI Agent 可观测性:BigQuery 与 Looker 方案

随着企业把 AI agent 从实验原型推向生产,数据与平台团队发现部署只是开始,还需要看清 agent 如何推理、访问了哪些数据、运行成本是多少。Google Data Cloud 今天宣布扩展 AI agent 可观测性与评估能力,覆盖 BigQuery 和 Looker 中的第一方(1P)数据 agent,以及用 ADK 或 LangGraph 构建的第三方(3P)自定义 agent。生产环境要解决的问题有三个:追踪多步推理同时保护敏感数据;控制 token 消耗与查询花费;在提示词或 schema 变更影响到用户之前评估答案准确性。
这次发布的核心是一个统一的遥测框架。所有 agent 都按同一套流程工作:捕获遥测、写入客户拥有的 BigQuery 表、再在团队常用的分析工具中查看。第一方 Conversational Analytics agent 开箱即用,无需配置即自动发出遥测;路由到 Gemini Enterprise 中 BigQuery 数据 agent 的 agent-to-agent(A2A)工作流已正式可用(GA),会把 Cloud Monitoring 指标、Cloud Trace 链路和 BigQuery 会话日志直接送入 agent 项目。用 ADK 或 LangGraph 写的自定义 agent,则通过单行 SDK 插桩把同样结构化的遥测流式导入 BigQuery。
会话日志功能已 GA。托管的第一方会话日志写入客户自己的 BigQuery 表,可直接在数据仓库里检查提示和响应。Conversational Analytics API 同步 GA,自带始终开启的管理员审计日志,可选数据读取审计日志,支持 VPC Service Controls、客户管理的加密密钥(CMEK)以及区域/多区域数据驻留。分析层有三种选择:BigQuery Studio 中的 Agent monitoring 提供预建仪表盘,可跟踪使用情况、活跃会话、顶级知识源和延迟;Looker 的 System Activity 仪表盘(GA)跟踪参与度和 token 使用量,用户评分与查询审核处于预览状态;另外还有开源 Data Studio 模板和 Looker Block for Agent Analytics 可自定义。
隐私与诊断的平衡是设计重点。Google 把操作遥测与会话内容分开管理。项目或组织层面启用 Cloud Monitoring 和 Cloud Trace 后,聚合指标和清理过的一手 trace 跨度不会包含用户提示、模型响应、内部想法和生成的 SQL。需要更深的转录审计时,agent 所有者可按 agent 单独开启会话日志:开启后,系统通过 BigQuery Storage Write API 把提示、响应和逐轮遥测写入客户拥有的 agent_events 表,并继承该数据集原有的 IAM、CMEK 和 VPC Service Controls。内置隐私护栏会在每一轮之前做一次“失败则关闭”(fail-closed)检查,只要知识源用了行级安全、列级策略标签或动态数据脱敏,就跳过日志记录;同时“失败则开放”(fail-open)执行保证日志系统出错时用户对话不中断。
对于自定义 agent,1P 会话日志会刻意剥离底层工具参数和内部 SQL,但 ADK/LangGraph 开发者可以用开源 ADK 插件 BigQueryAgentAnalyticsPlugin,单行设置即可把完整工具调用执行树、时间序列遥测和多模态负载流入 BigQuery。由于会话日志原生落在 agent_events 表,无需额外导出管道就能做根因分析:可以直接用 BigQuery AI 函数(如 AI.GENERATE 总结错误模式、AI.EMBED 配合 VECTOR_SEARCH 聚类重复问题),也可以用开源 bigquery-agent-analytics Python SDK 和 Colab 入门笔记本做事后语义漂移聚类和 LLM-as-judge 情感分析。
成本控制方面,BigQuery 会话日志按轮记录输入、输出、思考、缓存和总 token 数量,以及每轮延迟;Looker System Activity 则报告 BI 工作负载的估计输入/输出 token。FinOps 团队可以配置每查询的 BigQuery 字节扫描上限(big_query_max_billed_bytes),利用 dry-run 预估拦截超大查询,避免产生随需扫描费用;还可以在 Google Cloud 控制台和 gcloud CLI 里按项目、用户或 agent 设置每日输入输出 token 配额(当前为预览)。
评估能力与运行时观测配套提供。开源评估工具 Prism 可针对基于 BigQuery 表或 Looker Explores 的 Conversational Analytics agent 运行可复用测试套件,支持正则断言和多区域 agent 发现。Prism 能把评估结果直接流式写入按日分区的 BigQuery 表,让上线前的基准分数和生产 agent_events 日志并排对比。BigQuery 原生的第一方 agent 评估(基于 Gemini Enterprise Agent Platform 评估服务,支持自带服务账号)已通过 API 和引导式 Colab 笔记本提供预览。上手路径分成三步:先启用第一方 agent 可观测性,打开 Cloud Monitoring 和 Cloud Trace 并按 agent 开启会话日志;再为 ADK/LangGraph 自定义 agent 接入 BigQuery Agent Analytics SDK,部署开源 Data Studio 模板或 Streamlit 应用;最后用 Prism 跑自动化准确率测试,并配置字节扫描上限和每日 token 配额。

