Modal CTO 谈 10 万沙箱问题和 Agent 时代的基础设施

Modal CTO Akshat Bubna 在 Series C 融资之后，与 swyx 和 Vibhu 深聊了 AI 基础设施为何需要全新设计。核心问题是：传统云（尤其是 Kubernetes）根本不适合 AI 工作负载。Akshat 回忆说 Modal 在 ChatGPT 之前一年就开始加 GPU，因为他们从开发者体验出发，发现 serverless 函数和 Python 装饰器能让 AI 工程师省去管理集群的麻烦。现在，Modal 正在从“开发者体验”转向“Agent 体验”——因为 Agent 会自动编排沙箱、启动推理、跑强化学习（RL），这对基础设施提出了完全不同的要求。

几个最值得记录的观点：1. [Akshat] 认为 Kubernetes 不是为 bursty 计算设计的，Modal 用 serverless 和自动弹性伸缩来应对 RL rollout 时瞬间启动 10 万个沙箱的需求，这是传统云做不到的。2. [Akshat] 强调生产环境中 Agent 需要硬性护栏，不能只靠代码可读性，可观测性比读代码更重要，因为 Agent 是自动生成的代码，你必须能 trace 每步操作和资源消耗。3. Modal 的“超级云”策略——打通 17 个云厂商的容量池，通过 GPU 快照、DeFlash 投机解码、Auto Endpoints 等优化，让自定义模型推理的冷启动和性能接近 vLLM 和 SGLang，但弹性更好。

未来值得持续关注的趋势：Agent 驱动的推理和训练工作负载正在重塑云基础设施——当 Agent 能自主启动 100000 个沙箱做 rollout 时，传统云的批处理模型就过时了。Modal 的“supercloud”和 serverless 多节点训练 如果成功，可能成为 AI 原生的云标准。另外，他们提出的“agent 生命周期”管理——包括沙箱、持久化存储、sidecar——可能定义下一代 CI/CD 和部署范式。对 AI 工程师来说，这意味着 Infra 不只是运维问题，而是模型交付的核心约束。