Amplitude 用 OpenAI:1-2天交付产品改进

Amplitude 的 Wave 是一个主动型产品代理,约 80% 的功能由 OpenAI 模型驱动,核心模型包括 GPT-6.1 Sol、GPT-6 Luna 和 GPT-Image-2.5 Flare。Wave 的工作方式:团队先给它一个产品领域和要改进的目标指标,Wave 会把 Amplitude 数据、会话回放、客户反馈和代码放在一起,找出值得改进的机会,生成实施方案,再把任务交给编码代理(如 Codex)执行,最后追踪效果,并把学到的经验带进下一轮改进。Amplitude 估计,团队用 Wave 可以在 1-2天 内交付产品改进,而过去通常要一个月左右。

Amplitude 在自己的首页试了一次。原本页面上的推荐卡片是想引导用户和 AI 代理交流,但很多人会直接跳过。抽样 100 个会话回放里,80 个用户自己输入问题,只有 12 个选择了推荐卡片。Wave 于是建议根据用户最近看过的图表、仪表板或来源页面来做个性化推荐,同时保留自由输入框,并在没有上下文时显示通用建议。改动交给编码代理实现并做 A/B 测试,一天后,首页推荐卡片带来的发送量相对对照组提升了 160%。

Wave 背后的关键做法是按任务选模型。深度调查需要强推理和可靠结论,高频小任务需要快速和便宜。Amplitude 会评估质量、延迟和成本。在 Opportunity Investigator 的评测中,GPT-6.1 Sol 总分 4.06/5,高于三个替代模型的 3.62、3.52 和 2.94,并且在五项调查标准上全部领先,中位调查时间也最短,为 54分钟。在 Data Science Agent 的评测里,GPT-6.1 Sol 得分 67.5/100,略低于另一模型的 69.3,但每次派发的平均模型成本只有 $1.28,远低于对方的 $2.63,在工具契约合规、估计与不确定性、证据依据方面得分更高。OpenAI 的图像生成模型在解决方案线框评测中得到 80.3/100,另一个模型为 63.9。

高频、重复的任务,比如扫描代码和运行小型评估检查,Wave 用 GPT-6 Luna 做,把延迟和成本压住,这样可以把更贵的推理留给真正需要的任务。客户已经在 beta 中使用 Wave。团队可以控制自动化程度:大多数团队会把 bug 修复直接交给编码代理,新功能和大的改动则保留人工审核。从发现机会到上线,在客户已启动的实验、功能开关和指南中,四分之一当天上线,一半在四天内,三分之二在一周内(数据由提供的里程碑插值得到,为示意曲线)。

Amplitude 团队表示:AI 现在能找到我们从未想过要指派给它的有用工作,OpenAI 的模型可以调查问题、编写和运行代码,并利用结果决定下一步。这套流程的关键不是每个环节都全自动,而是让模型在调查、编码、生成 UI 线稿等环节各司其职,人只负责把控重要决策。Amplitude 的 CEO Spenser Skates 说,他们和 OpenAI 的雄心是让“自我改进的产品”成为公司构建软件的方式。随着模型推理和编码能力增强,团队可以把更多调查和实施工作交给代理,而代理也在帮助 Amplitude 自己的产品持续改进。

How Amplitude ships product improvements in 1–2 days with OpenAI

查看原文