Data Agent Kit 发布:用代理搭建数据流水线

Data Agent Kit 是谷歌在 Antigravity IDE 中推出的数据工作流工具集,以插件或基于 VS Code 的 IDE 扩展形式存在。它带来两类核心能力:一是给编码代理添加 MCP 工具,让代理能直接连接数据服务;二是提供 Skills,即 Markdown 格式的指令和最佳实践,告诉代理如何操作你的数据栈。同时,IDE 内集成了 Google 的 Agentic Data Cloud 工具,从查询 BigQuery 到部署 Airflow 管道都可以在编辑器里完成。

为了展示实际用法,文章用欺诈检测流程走了一遍端到端实现。原始交易日志放在 Google Cloud Storage。你先让代理生成一个 notebook,用 Spark 把 JSON 日志加载到 BigQuery 表 raw_transactions。生成的 notebook 可以在 IDE 里打开、检查代码,再在预配置的 Spark Serverless 运行时上执行。跑完后,扩展能让你直接在 IDE 中浏览表内容和元数据。

接下来是数据清理。代理生成一个 dbt 项目,用 SQL 模型去重、补全缺失字段,并连接付款方和收款方参考表。运行 dbt build 会构建出 staging 和 enriched 表,同时把缺少交易 ID 的记录单独放一张表,dbt 还会执行唯一性测试。数据里保留了 is_fraud 列,供后续训练和评分使用。

训练部分,代理创建了一个使用 Random Forest 分类器的 notebook,同样跑在 Spark Serverless 上。运行后可以查看评估输出,判断模型区分欺诈与正常交易的能力,也可以在扩展里确认模型 artifact 已保存到 Google Cloud Storage。推理 notebook 则用这个模型给未标记的交易打分,把欺诈概率 50% 或更高的记录写入 Spanner 表,作为合规团队的审核队列。

以上步骤默认是手动触发的。要让它每天自动运行,代理会生成一个 YAML 管道定义和部署配置。Data Agent Kit 会把定义转为 Airflow DAG,在 IDE 里显示为交互图。你可以点开每个任务查看对应代码;配置好 Airflow 环境后,点击 “Run pipeline”,工具会自动打包 notebooks 和 dbt 项目、部署 DAG 并触发运行。执行历史里能看到每个任务的状态、耗时和日志。之后 Airflow 每天按时把新一批日志处理到审核队列,合规团队只需要聚焦被标记的交易。

如果你想自己尝试,官方提供了一个 codelab 讲解完整搭建过程,也有文档和 GitHub 开源仓库可以参考。这个工具解决的核心问题是:把数据摄取、清洗、训练、推理、调度串成一个代理可生成的自动化工作流,同时每一步代码都保持可见、可控。

Bringing you the Data Agent Kit

查看原文