沃达丰用 Data Engineering Agent 降低数据管道成本30%

沃达丰捷克在 BigQuery 环境中长期依赖大量存储过程做数据转换,这些过程是早年从本地数据仓库迁移上云时留下的,很多包含两三千行代码,只能顺序执行。相比模块化的 Dataform 方法,这类单体存储过程在代码结构、逻辑复用、测试、文档、编排等方面都存在明显劣势:代码全部混在一个文件里,复用靠复制粘贴,测试靠手动,文档经常过期,依赖管理靠人工调度。

为解决这些问题,他们使用了 Google Cloud 的 Data Engineering Agent。这个代理在 BigQuery Pipelines 和 Dataform 中可用,沃达丰直接选择在 Dataform 中使用它。代理接收自然语言指令,以及指令文件里提供的代码,自动构建 Dataform 管道。它带来的改进集中在四个方面:把代码拆成独立步骤并行执行,提升可读性和性能;通过 BigQuery 物化视图缓存中间表,让下游复用的表不再重复计算;把整个管道的编排、依赖和执行日志交给 Dataform 处理,不再需要人工维护元数据表和电子表格;因为代码被拆分成多步,可以只跑其中一部分,方便调试和定位问题。

过程中最值得记录的经验是:并行化和缓存之间存在取舍。最初让代理做并行化时,发现成本反而上升。原因是顺序执行时 BigQuery 会为第一个线程缓存基础表,拆成并行流后,这个缓存被打破,每个线程都可能触发全表扫描。解决方式是指示代理为中间表创建物化视图,把数据预先缓存好,既保留并行性能,又控制成本。为了让并行更有效率,他们还给了代理具体指令,指定哪些暂存区域需要并行化。

实际结果很直接:代理对所有存储过程做到了高保真复制,1:1 逻辑对等,人工干预极少。迁移时间比传统手动方式减少 90%,原本需要数周的工程被压缩到一小部分时间。迁移后的管道执行速度翻倍,显著降低查询延迟。指示代理缓存中间表后,成本降低了 30%。

这些变化也在改变数据工程师的工作方式,让他们从重复迁移和优化中解放出来,去探索不同实现选项、验证设计决策。沃达丰计划在更大范围推广这个代理,包括建立标准化 Dataform 模板仓库,把部署扩展到捷克、罗马尼亚、爱尔兰、德国、英国等市场,集成到 VS Code 和 Antigravity 这类开发者环境,实施联邦 CI/CD 治理,以及将 SAS 代码、BTEQ 脚本和 MicroStrategy 等遗留工作负载系统迁移到 Dataform 管道。

Vodafone Cuts Data Pipeline Costs 30% via Data EngineeringAgent

查看原文