用 Gemma 和 TPU 构建电动汽车充电实时智能体

lemonflow 是一家专注电动车充电场景的 AI 智能体公司,为司机做实时客服,为充电网络做监控。客服智能体支持 90 多种语言,目前平均每 90 秒帮助一位电动车司机。背景是欧洲 15%-25% 的充电尝试会失败,司机经常被卡在故障充电桩或呼叫中心队列里。

技术挑战集中在语音延迟、托管 API 瓶颈和计算突发。实测延迟超过 800 毫秒就会引发用户打断,破坏对话流;原来使用的托管 LLM API 在高峰期延迟从 1.0-1.2 秒飙升到超过 1.7 秒,还出现 HTTP 429 限流错误。每个智能体由一份完整 prompt 加动态工具调用组成,通话中会产生密集计算需求。生态碎片化也明显:约 30 种 Charge Point Management Systems(CPMS)各有各的 API 和数据模型,而每个运营商还有大量定制 agent,prompt 各不相同。

解决方案是把模型服务从托管 API 迁到自托管:在 Google Cloud TPU v6e 上运行开源 Gemma 4 模型,全部部署在欧盟区域。因为 Gemma 与 Gemini 兼容,原有 prompt 基础设施只需极小改动。自托管让 lemonflow 建立了一个确定性核心层,负责 EV 专属护栏、防 prompt injection、把碎片化后端协议标准化,再交给 LLM。稳定性还支撑了 Agent Coach:一个后台教练引擎,在实时通话中给 agent 提供上下文,并把真实对话变成永久测试用例;每晚还会跑数千个固定场景的自动回归测试。流量入口增加智能路由网关,按紧急程度排队:实时语音优先,网页聊天其次,自动重仿真放到低峰期。团队还定制了开源 vLLM 引擎,并在 TPU 与主机内存之间做分层,让单个 TPU slice 能同时预留更多 agent 的即时响应上下文。兜底路由指向自托管 GPU 和 Gemini Enterprise,但因为 TPU 稳定,Gemma 承担了 99.9% 以上的实时对话回合。

结果很具体:提示词更新和测试周期从 2-3 小时缩短到约 10 分钟;P50 延迟降到约 350 毫秒,P90 约 600 毫秒,比托管 API 基线快约三倍;HTTP 429 消失,下午高峰延迟保持平稳;专用算力还让空闲 TPU 周期变成测试容量。业务侧,客服智能体通常会接听每一个来电,超过 80% 的对话端到端完成、无需人工接管,司机满意度 95%。目前平台服务 40 多个充电网络、17 个国家、超过 25 万个充电点。

架构上分两类 agent:支持 agent 用 Gemma on TPU 做低延迟实时对话,监控 agent 用 Gemini 在后台分析对话和充电桩日志。翻译层把不同 CPMS 接口转成统一格式。司机来电后,引擎实时拉取充电桩状态和 OCPP 日志,把结构化日志摘要喂给 Gemma。输出也做分流:文本 token 即时送到 TTS,结构化工具调用 token 异步触发真实动作,比如远程重启充电桩、解锁卡住的电缆、结束未正常终止的会话、发短信或邮件、通知技师。所有输入在进入 TPU 上的 LLM 之前经过确定性安全检查,符合欧洲关键基础设施的考虑方向。下一步是迁移到 Google 第七代 TPU Ironwood,其每芯片高带宽内存为现有硬件的六倍,可让单块 TPU 在内存中预留更多 operator agent 做即时答复。

Building real-time agents for EV charging using Gemma and TPUs

查看原文