
用 AI Agent 扩展 Managed Airflow 管道

生产 Airflow 管道失败时,难的不是修复,而是定位该修什么。线索散在任务日志、调度日志和 worker 指标里,可能什么都查不到。Managed Service for Apache Airflow(原 Cloud Composer)因此把 AI agent 引入管道全生命周期:控制台内置的 Managed Airflow Agent 负责查故障、评环境、查升级兼容性;IDE 里的 Data Agent Kit 负责写、迁移、部署 DAG。
故事主角是虚构公司 Cymbal Shops。生产环境 cymbal-prod 跑 Airflow 2.11.1,worker 配 2 vCPU、4 GB 内存,自动伸缩 1 到 6。点击流事件经 Pub/Sub 落到 GCS,按小时目录存 JSON 文件。Airflow 2 没有原生的外部事件触发方式,传感器加轮询也行,但团队不想引入太多组件,于是选了每小时批处理加载到 BigQuery。平时一个繁忙小时约 200 个文件、350 MB,任务内存峰值低于 2 GB。
十月下旬,营销活动加上新版 App 埋点让小时数据量涨到约 1.4 GB。任务把所有文件读进 pandas 再合并,内存需求超过 4 GB worker 上限。10 月 23 日 14:00 的运行三次尝试全部失败,任务日志里没有报错。Amira 在控制台点击 Investigate,agent 把 worker 内存指标和任务重试关联起来,给出三条建议:直接加载到 BigQuery、分批处理、给 worker 加内存。每条结论都带证据。
她问同一个 agent:环境需要多少内存。agent 分析了环境级遥测,建议 worker 内存升到 8 GB,并指出三个生产就绪缺口:数据库保留未启用、环境非高可用、无定时快照。升到 8 GB 后管道撑过了活动。但这是买时间:黑五流量预估是正常高峰的 8 到 10 倍,届时每小时批次需要的内存会远超 8 GB。真正的问题是单位工作量随流量增长。
Airflow 3 原生支持事件驱动调度,改变了这个局面。AssetWatcher 监听 Pub/Sub,triggerer 每 10 秒在后台检查订阅;新消息更新 asset,触发对应 DAG,消息放进 payload。每次运行处理一个文件,内存取决于文件大小而非小时流量,也不需要额外的触发服务。
升级前,agent 在同一面板检查 cymbal-prod 到 Airflow 3.3.1 的兼容性。发现两个 blocker:一个手动清理数据库的维护 DAG(Airflow 3 不允许),一个还在用 execution_date(Airflow 3 已移除);另有四个 DAG 需要把 schedule_interval 改成 schedule。几分钟完成评估。
随后用 Data Agent Kit 的 migrations 技能新建 cymbal-prod-af3 环境,适配、部署、验证 DAG。PubsubPullTrigger 直接当事件触发器,动态任务映射为每个新文件分配独立 task,文件最大 128 MB。忙时任务变多,而不是变大。负载测试重放 8 倍正常峰值流量,clickstream_ingest 只是运行更频繁,点击到 BigQuery 的延迟从超过一小时缩短到几分钟。
文章最后提到另外两种用法:Managed Airflow MCP server 已 GA,任何 MCP 兼容 agent 可列出/触发 DAG、查看运行状态和失败任务,权限走 IAM,只读工具会被标记;Apache Airflow Common AI provider 可在同一 DAG 跑模型驱动任务,例如 LLM 分支、agentic 重试、schema drift 检测。故事里的流量与内存数字均属示例。

