OpenAI 如何用 Performance Factory 保持 ChatGPT 快速

传统性能工程在 agentic 开发的高节奏下已经不可持续。OpenAI 为此构建了 Performance Factory:一个运行在云端的自动化系统,利用 Codex 的全部能力来自动调查和修复性能回归,从定位问题、提出修复到验证恢复,整个流程都被自动化。它支撑着 ChatGPT 的延迟与可用性监控。

这个系统不是一步到位。OpenAI 总结了团队的演化路径:早期工程师手动翻指标、看日志、比对 trace,为此积累了超过 30 个性能工具;之后 Codex 成为搭档,能搜索大代码库、跨服务追踪,但还需人工引导;随后把调查流程沉淀为可复用的 perf-forensics 技能,用历史回归做 evals,让 Codex 拿到告警就能直接给诊断;再往后,工程师变成了警报和 Codex 之间的“人肉代理”;接着调查上云,告警自动触发会话,但修复和验证仍靠人;最后才是端到端的 Performance Factory。

Performance Factory 由四部分组成:任务服务用配置文件和 Markdown prompt 定义工作流的状态、转换和需要工程师介入的环节;调度循环周期性地把就绪任务分配给 agent;云端执行层通过内部 API 在云中启动 Codex turn,环境能访问代码库和指标、日志、trace、CPU profile、内存快照等可观测工具,并以服务身份运行以便限定权限;订阅机制让任务在等待 GitHub 评审或部署完成时暂停,事件到来后重新唤醒。

第一个运行的工作流叫 Regression Workflow。告警触发后打开任务,agent 先明确哪些指标变差、何时开始、哪些请求受影响;接着比较不同请求组,检查部署和 feature flag 变更,读代码,用日志或 trace 验证假设。为了防止 agent 停在第一个看似合理的解释上,系统加入了对抗性审查:另一个 Codex 会话专门尝试反驳诊断,检查反事实。原文举了一个例子:agent 把 ChatGPT 会话失败归因于图片下载错误,但审查者发现定位文件的服务早已恢复,而图片请求仍失败,于是推翻诊断重新调查。

在三个多月里,Regression Workflow 完成了 超过 1,700 次调查、600 多个根因定位,每天 17 次自动调查。在对 100 个根因建议的人工复核中,70% 被评为准确,30% 需要进一步细化或未完全确认因果。修复环节比定位更难:agent 提出的改动有时过于复杂或引入新问题,系统因此也对每个修复做对抗性审查;像加缓存这类涉及一致性权衡的修改,仍需工程师把关。为了让交接顺畅,每个任务附带自动生成的报告,包含指标时间序列、CPU 火焰图和 trace,方便工程师快速核查证据;工程师可以直接改 PR 或在评论里提意见,工作流会唤醒 agent 处理。部署后,agent 验证性能是否回到基线;完全恢复则结单,部分恢复则拆出新任务,无改善则退回重新调查。

OpenAI 总结了三条经验。第一,保护工程师注意力:调查原始输出是难以阅读的文本墙,工作流把相关 incident 关联起来,按团队关心的指标分组,并排序预估影响,让工程师聚焦决策。第二,评估对 agent 的改动:用历史事故做回测,注意指标和 trace 会过期、恢复后收集的证据可能泄露答案,测试用例要剥离这些信息;同时用任务快照评估报告对不熟悉系统的人是否可理解。第三,把重复故障变成自我修复:每天运行 agent 检查工具失败和权限错误,用 Performance Factory 自己修复这些问题,并通过 evals 确认 agent 能跨过之前卡住的步骤。

下一步是扩大应用范围。Regression Workflow 只是 agent factory 模式的一个实例:任务在显式状态间移动,agent 在就绪时推进,独立审查者挑战结论,工程师在需要判断时介入;其他工作流可以用不同的状态、指令和事件复用同一套机制。Performance Factory 还能跨工作流协调,一个工作流中的 agent 可以在另一个工作流里创建任务。目前流程靠告警触发,团队正尝试用 agent 分析 CPU 与内存 profile、堆转储和请求 trace,发现告警漏掉的回归或优化机会;也把已知信号编码成工作流,例如 service rightsizing 技能识别多余的副本。OpenAI 坦言,当前瓶颈往往是等待工程师审查和合并修复,而他们已经在探索让 agent 自行完成这一步。用他们的话说:Codex 已经帮助 OpenAI 更快地构建 ChatGPT,现在又帮助保持 ChatGPT 快速。

How OpenAI’s Performance Factory keeps ChatGPT fast

查看原文