Model Routing Is Simple. Until It Isn’t.

这篇工程笔记揭示了模型路由看似简单的表象下隐藏的系统级复杂性。作者在构建CodeAct agent时发现,路由根本不是分类问题,而是系统优化问题。三个维度颠覆了直觉:成本不仅取决于模型定价,更受缓存行为影响——Sonnet尽管步数更多、基础定价更高,但在AppWorld测试中实际成本仅为GPT-4.1的一半,因为其缓存读取定价更低;任务难度难以在路由时预判,且路由需同时平衡成本、质量、延迟、合规等多项约束;延迟则受基础设施状态(硬件、缓存、端点负载)支配,模型大小远非唯一因素。

面对这些反直觉的发现,作者将路由重新定义为多目标优化问题,而非简单分类。他们构建的轻量级路由器(约6ms、2kB内存每任务)在AppWorld上探索出一条成本-准确率前沿,允许用户按优先级选择操作点。例如,延迟优化配置相比单独使用Opus降低了21%成本和9%延迟,准确率仅下降4%。而传统的基于难度的路由(图中菱形点)只能达到相似准确率但成本更高,因为它无法系统性地探索全局权衡空间。

对严肃的工程团队而言,路由的真正价值不是选出“最佳模型”,而是找到整个系统的最佳操作点。这意味着必须将缓存行为、基础设施状态、合规约束和负载模式纳入优化目标,而非仅依赖定价表或任务难度估计。作者给出了一条可复现的路径:用轻量优化器代替分类器,在运行时动态权衡多个维度,从而在不牺牲核心指标的前提下解锁显著的成本或延迟收益。

Model Routing Is Simple. Until It Isn’t.

View Original