
Amplitude 如何用 OpenAI 缩短产品改进周期

Amplitude 的 Wave 是一个主动式产品 Agent。团队给它一个产品区域、目标和要改善的指标,Wave 会把 Amplitude 数据、会话回放、客户反馈和代码整合起来,找出并排序机会、设计方案,再带着技术计划和验收标准,把任务交给人类或编码 Agent(包括 Codex)实施;随后追踪结果,把经验带回下一轮迭代。Amplitude 称 Wave 大约 80% 由 OpenAI 模型驱动,包括 GPT-6.1 Sol、GPT-6 Luna 和 GPT-Image-2.5 Flare。
在 Amplitude 自己首页的实验中,Wave 发现原本的通用建议卡经常被跳过:100 场会话回放里,80 个用户自己输入问题,只有 12 个选了建议卡。于是它建议用最近图表、仪表盘或来源页面做个性化,同时保留自由输入;没有可用个性化上下文时仍显示通用建议。团队简短审核后交给编码 Agent 完成改动并做 A/B 测试。一天后,通过首页建议卡发出的消息比对照组增加 160%。Amplitude 估计,用 Wave 可以把产品改进从约一个月缩短到 1–2 天。
模型选型上,Amplitude 对每个任务评估质量、延迟和成本,再分配模型。机会调查场景中,GPT-6.1 Sol 综合得分 4.06/5,三个备选模型分别为 3.62、3.52、2.94;它在五项调查标准上全部领先,中位调查时间也最快,为 54 分钟。在 Data Science Agent 评测中,GPT-6.1 Sol 得 67.5/100,另一个领先模型为 69.3,但单次派发的平均模型成本是 $1.28,对比为 $2.63;它还在工具合约遵从、估算与不确定性、证据锚定上得分更高。高频低成本的代码扫描和小规模评估检查交给 GPT-6 Luna,以控制延迟和成本。生成线框与 mockup 时(以会话回放截图作视觉参考),GPT-Image-2.5 Flare 得 80.3/100,另一个图像生成模型为 63.9;评估覆盖 15 个机会的沟通质量、产品保真度、指令遵循、文本与 UI 可读性和视觉连贯性。
Wave 目前处于 beta。客户可以控制自动化程度:多数团队把 bug 修复直接交给编码 Agent,新功能和更大的改动保留人工审核。在客户已上线的实验、flags 和 guides 中,四分之一在 Wave 发现机会当天上线,一半在 4 天内,三分之二在一周内;原文说明这些里程碑来自插值,曲线只是示意。Amplitude CEO Spenser Skates 说,OpenAI 的模型现在能调查问题、写代码、运行代码,并用结果决定下一步;公司更长期的目标是让自我改进的产品成为公司构建软件的方式。


