测试数据 Agent 的数据模拟器

Google 的工程师在开发企业数据 Agent 时遇到一个典型瓶颈:不能用生产数据测试。权限、数据敏感性和合规边界让外部工程团队很难直接接触真实数仓;即使有权限,实时数仓也不是合适的测试场地——目录描述经常不完整,大量口径知识只存在于文档和聊天线程里,几千张表没有一份验证过的答案。于是团队往往退回小玩具数据集上测试,赌它上线不出事。

他们的解法是给数据 Agent 造一座“风洞”。汽车设计用缩比模型在风洞里重现真实气流力,数据 Agent 也可以用合成数据资产来测试:不复制真实 schema 和敏感内容,而是从一段普通英文描述出发,生成一个结构、因果行为和组织混乱度都类似真实企业的虚拟公司。比如输入“模拟一家有两座工厂的刹车制造商,有 ERP、车间执行系统、三班倒,二班主管对停机的统计口径与运营和财务不同”,模拟器会凭空造出名为 Calder Brakes 的公司,包含 schema、数据行、事件历史、文档和聊天线程,并附带一套难题基准和验证过的答案。

为什么要这么做?因为干净的小型测试数据库表结构清晰、口径明确,几乎测不出企业数据所需的那种判断力。以 Calder Brakes 为例,问 agent 两个问题:新分析师入职前应该知道这里的 downtime 怎么定义;以及 Plant 2 在 Q3 到底记录了多少小时停机。一个天真的 agent 会搜到最权威的文档——二班主管 Bob 写的政策备忘,他说停机只算非计划停机,计划换型不算。Bob 语气自信且职位高,agent 就可能总结他的定义,并在写 SQL 时过滤掉换型。但正确答案是:官方口径把换型算作计划停机。Bob 的定义只是美化了他那个班次的数据,几周后口径负责人才在后续线索里悄悄更正。答对这类问题,必须看穿文档语气、查清指标归属、追踪后续更正,这正是数据 Agent 在生产环境最容易翻车的地方。

模拟器如何保证基准可信?生成流程分四步。只有 Compile blueprint 阶段由语言模型决定什么是真的:把模式描述变成冻结的蓝图,记录系统、人员、指标以及个人信念——Bob 的错误定义会与官方指标一起被记录,陷阱和答案同时埋下。蓝图冻结后,Simulate & build tables 阶段完全确定性运行,不调用模型:员工按排班产生工单、交接和数据库行,每条记录都能回溯到创建它的事件。表格里会注入模拟真实数据摄入故障的行级缺陷,比如重试风暴导致的重复行、未合并的键、季度中途单位变化,每条缺陷写入机器可读的 messiness log,基准生成器据此调整 ground-truth SQL。Render documents 阶段再把蓝图中固定的事实渲染成每个人风格的备忘录和聊天线程。最后 Evaluate agent 通过只读工具测试 agent。给定同一蓝图和随机种子,每次都会产出完全相同的表和 SQL 答案。

构建时还有三道检查。定量问题会附带计算出标准答案的 SQL;基准生成器会给缺陷计数问题自动配上去重的 COUNT(DISTINCT) 查询,并运行常见错误 SQL(比如不去重的 COUNT(*) 或 Bob 的换型过滤)来验证踩陷阱会得到不同结果。定性问题配有基于指标归属、官方定义和更正路径的评分 rubric。每份渲染出的文档都回校确认只陈述了分配给它的事实,没有引入未记录的数字、日期或人名。同时设置幻觉哨兵:专门问“Basalt Velocity Ratio”这种根本不存在的指标,可靠 agent 应该拒绝并报告不存在。

怎么验证“风洞”像不像真实世界?他们做三层检查。统计层面,每次构建都会产出现实性报告,测 join fan-out、键偏斜、空值和重复率、事件时长、星期活动曲线,以及本福特定律等数字分布。领域专家审阅层面,早期项目用企业合作伙伴的领域模型生成合成资产,让他们的分析师来查询,判断像不像自己的系统。独立校准层面,用超过一百项的独立检查套件覆盖统计真实性和答案 SQL 验证。内部评估显示,agent 的能力升级——比如开启更深层推理模式或改进上下文处理——在合成资产和人工基准上让准确率按同一方向移动,不同配置的排名顺序也保持一致。

这个方法承接了两条研究线索。数据库问答领域里,BIRD、Spider 2.0 等基准已经从干净 schema 走向脏数据库;agent 环境方面,WebArena、τ-bench、Generative Agents 用模型模拟网站或角色。区别在于,这个模拟器里的员工遵循与角色和排班绑定的确定性规则,所以同一随机种子能完整重放同一段组织历史。它还借用了机器人领域随机化的思路:训练时改变光照、纹理等表面细节,但保持底层物理不变。这里合成的是所有表面名称、数字和文档,而因果结构、跨文档链接和机构混乱度保持忠实。

这套架构的现实价值是:按需生成测试资产,打通了持有敏感数据的企业和为它们开发 agent 的工程团队之间的瓶颈。过去开发基准必须拿到生产表和人工标注问题,这两样恰恰最难跨合规边界共享。Google 内部用这座风洞压力测试 Google Cloud 的数据 Agent,全程不碰客户数据。任何工程团队也能套用同样的 blueprint-first 架构给自己做评测套件。风险有两个:一是过度拟合模拟器设定的混乱模式,二是企业运行漂移让蓝图过时。对应的纪律和风洞工程师一样:定期用真实运行校准,把基准难度对齐生产故障模式,并把模拟当作一个需要持续维护的活模型。

A data simulator to test agents

查看原文