异步推理：Agent时代的基础设施新范式

今天所有的大模型推理都在做同一件事：等人。用户打字，模型回应，然后计时器归零。整个基础设施的优化目标是冷启动延迟，而不是吞吐量。这在人类对话场景下是合理的，但当你开始构建真正的AI Agent，比如让十个Agent并行处理同一个任务跑上几个小时，这种即时响应的架构就成了成本黑洞。你为每个请求预留着算力，但Agent大部分时间在等待外部响应，算力就这么闲置着浪费掉了。

Sail Research的做法是拥抱异步。他们把推理请求丢进队列，然后用一套智能路由系统把任务分发给DeepSeek、Qwen、GLM这些开源模型，每项任务自动选最便宜的能胜任的模型。比如GLM-5.1在Sail上的单token成本是Anthropic Haiku的六分之一。你等多两分钟做一次代码审查，成本就省下六倍。他们还用spot实例兜底，结合fleet-aware编排，把GPU利用率拉到极限。最关键的是Sailbox这个东西，它专门为Agent的突发性工作模式设计：Agent在等推理结果时自动暂停，结果返回后几秒内恢复，你只付活跃时间的钱，闲置不花钱。

这背后是一个更大的趋势：推理市场正在从统一走向分层——实时、近实时、批量。异步推理稳稳落在批量这一层，并拥有巨大的成本优势。随着Agent从聊天助手变成夜里默默扫描代码库的背景工人，绝大多数token的消耗将走队列而不是走聊天窗口。Sail证明了并行异步的推理架构在经济上是可持续的，而且性能损失完全可以接受。对任何一个认真构建Agent团队来说，这可能是最具ROI的基础设施选择的底层逻辑之一。