Retell 用 OpenAI 模型支撑每月 1 亿通电话

本文是语音 AI 平台 Retell AI 的客户案例。Retell 面向联络中心场景,帮助企业构建能回答问题、执行操作、必要时转接真人的语音智能体。平台目前服务超过 4,000 家企业;月度通话量从 2026 年初的 3,000 万通增长到 9 月的 1 亿通以上。OpenAI 模型现在为其中 80% 的通话生成回复,客户问题的解决率在 80% 以上;Retell 在 OpenAI 模型上累计消耗的 token 已超过 1 万亿。

Retell 自建 vCX 基准,用从真实生产场景抽取的困难多轮对话比较多款模型,考察指令遵循、不偏离给定信息、正确调用工具和使用自然对话语言。2026 年 10 月 13 日的基准中,GPT-6 Astra 以 89.7% 的指令遵循得分排第一。在 GPT-6 Astra 发布前的评测中,开启推理时 GPT-5.5 的非幻觉率(88.0%)和工具调用正确率(88.3%)均最高,两项都超过 Gemini-3.1-Pro 和 Claude-4.6;关闭推理时,非幻觉率也领先。Retell 称,选择 OpenAI 模型的新客户会继续使用;OpenAI 新模型发布当天 Retell 就接入,并随模型改进重跑基准。客户还可通过 Realtime API 使用 OpenAI Realtime 模型,或把 OpenAI 文本转语音作为语音引擎。

通话运行时,Retell 的调度层负责跑音频模型、跟踪对话,并管理智能体何时说话、倾听或应对打断。OpenAI 模型(包括 GPT-6.1 Sol、GPT-6 Astra、GPT-5.5)依据客户指令和对话上下文生成回复、请求工具调用;Retell 通过集成执行调用,并把结果写回客户记录。需要人工判断时,智能体会先向坐席说明上下文、回答追问,确认就绪后再接通客户。通话结束后,GPT-5.6 Terra 负责分析转写,抽取结果和其他数据。

两个客户案例给出了量化结果。Anker 在美国和英国用 Retell 智能体处理一级售后,包括订单跟踪、保修检查和故障排查;其报告的问题解决率为 80.4%,净推荐值(NPS)为 63,并认为智能体的语气、节奏和亲和度达到真人客服标准。Pine Park Health 用智能体做预约提醒和主动排期,并把结果写进患者病历;团队因此释放了相当于 2.1 个全职岗位的医疗助理时间,调度智能体在成功联系到患者时预约成功率为 55.7%。

规模方面,Retell 平台白天流量可达夜间低点的 50 倍以上。为保持峰值响应,Retell 使用 OpenAI 的专用服务器,由客户共享。10 月 13 日基准中,GPT-6 Astra 和 GPT-6 Sol 的首句延迟中位数均为 883 毫秒,GPT-5.6 Luna 以 497 毫秒排第一。OpenAI 的区域 API 端点能把流量路由到特定地理区域,减少传输时间,并满足医疗、金融等行业的数据驻留要求。Retell 还在每一层做了冗余:自建电话栈之外备有第二套,语音和模型服务也有备份。

开发上,工程师用 Codex 调研陌生代码、实现功能、排查问题。给 Codex 一个高层需求后,它会扫描代码、对照实际数据检查,并说明需要改什么;一名工程师说 Codex 做得比他更快更好。调试时,Codex 会把日志、数据库记录和代码交叉比对。前端改动则依赖 GPT-6 Astra 的 computer use:打开界面、点击测试、尝试破坏流程,再报告问题;Retell 称早期模型无法稳定完成这类工作。工程团队因此不必随业务同步扩招,Retell 的人均年化营收运行率为 160 万美元。下一步计划是扩展质量保障与仿真、支持更多语言、开发知识库自动学习。

Retell uses OpenAI models to help power 100M monthly calls

查看原文