Voicify 是一家成立于 2018 年的创业公司，最初想为电话和聊天渠道构建语音助手。疫情迫使它转向餐厅和医疗这两个电话密集行业。餐厅可能错过多达 20% 的来电从而损失订单，医疗则要求将预约信息 100% 准确 集成到管理系统。

四个核心挑战是：交易精度（需 100% 准确理解客户请求并与 POS 或管理系统对接）、流量尖峰管理（餐厅和医疗常有极端流量波动，LLM 用量必须精确配置以控制成本）、延迟（任何延迟都可能导致客户挂断，所以首 Token 时间必须极快）、安全合规（需要 HIPAA、SOC2、ISO27001、PCI 等认证）。

Voicify 的解决方案是自建语音编排平台，底层使用 Gemini Flash（通过 Gemini Enterprise Agent Platform 提供）。相比之前使用的其他 LLM，Voicify 观察到 25% 到 30% 的成本节省，同时可靠性更高。为了支撑扩张和流量尖峰，他们从 Google AI Studio 迁移到了 Vertex AI（即后来的 Gemini Enterprise），利用预配吞吐量和高级按需付费功能。例如感恩节前一天流量创历史新高时，没有遇到速率限制问题。

架构上有一个关键决策：不把整个餐厅菜单塞进单次 prompt，而是初始只包含部分信息，后续根据对话逐步获取。这显著改进了响应时间并降低了复杂订单的处理难度。

最终成果：Gemini 让 Voicify 内部用于拉取上下文和构建菜单的程序工具负担减轻，延迟更低、可靠性更高。客户上线时间从 1-2 周缩短到 1-2 天（在获得 POS 系统访问权限后）。借助 Vertex AI 的预配吞吐量和按需付费功能，即使在最高峰时也实现了 100% 正常运行时间，没有丢响应或速率限制。Voicify 计划未来从单纯的订单对话转向更主动的辅助，比如根据上下文主动替客户下单。