Reflection 发布了其首个开放权重模型 Beam，Google Cloud 在同一天宣布 Day-0 支持，并提供可立即部署的方案。Beam 采用 Apache 2.0 许可，发布时即有 BF16、FP8、NVFP4 三种精度权重。它属于 500B 参数级别，但每个 token 只激活约 23B 参数，上下文窗口接近 100 万 token。Reflection 称，相比同类开放模型，Beam 能用 3 到 4 倍更少的推理 token 解决复杂推理和编码问题，从而显著降低每一步推理所需的算力。

模型效率只是第一层。在 agentic 编码循环中，单个会话会调用模型几十次，每次都会把新的文件读取、代码 diff、编译日志和工具输出追加进共享对话历史，上下文迅速膨胀到数万甚至数十万 token。即使 Beam 每轮只生成更少推理 token，累积的上下文仍造成两个基础设施瓶颈：一是预填充计算瓶颈——标准 Kubernetes 负载均衡按无状态轮询分发请求，同一会话的后一轮请求常被分到另一个副本，导致整个历史 prompt 从头重算；二是解码瓶颈——几十个并发长会话的 KV 缓存很快占满 GPU HBM，一旦占满就必须驱逐旧块，缓存命中率下降，吞吐停滞。

为此，Google Cloud 在 AI Hypercomputer 上构建了针对多轮 agent 生命周期的垂直整合架构。关键机制包括：前缀与负载感知路由（GKE + llm-d EPP / Dynamo router）跟踪缓存前缀和各 worker 的队列深度，把同一编码会话的后续轮次送回持有其热 KV 前缀的副本，同时靠按轮次的优先级流控防止队列饱和。预填充/解码分离（P/D）让重 prompt 突发不会拖慢 token 生成。A4X Max 和 G4 实例上运行 vLLM 与 SGLang，支持 Blackwell 原生 NVFP4、专家并行、数据并行注意力和 DFlash2 推测解码。分层 KV 缓存则把活跃 KV 块留在 GPU 内存，把长会话中逐出的热 KV 块溢出到主机 DRAM 和本地 NVMe SSD，通过 vLLM 的 OffloadingConnector 或 SGLang 的 HiCache 实现毫秒级取回，避免从头重算。

优化效果基于客户基准测试。在 A4X Max 实例（32 个 NVIDIA GB300 NVL72 GPU）上运行 NVIDIA Dynamo，相对同一硬件基线获得最高 5x 吞吐提升 和 8x 延迟降低；在 G4 VM（8 个 NVIDIA RTX PRO 6000 GPU）上运行 llm-d，获得最高 2x 吞吐提升 和 8x 延迟降低。两组配置不互相可比，各图表显示的是相对同硬件基线的增益。副本越多，路由器可命中的热 KV 缓存越多，增益随部署规模扩大而增长。

所有 Kubernetes 清单、路由器配置和基准测试脚本均已开源，可在 GKE 上直接运行。开发者可从 AI-Hypercomputer/gpu-recipes 仓库获取 llm-d 与 NVIDIA Dynamo 的 Day-0 部署指南，也可从 Model Garden（Gemini 平台）一键部署；权重则可在 Reflection 的 Hugging Face 页面下载。团队还将在 PyTorch Conference North America 和 NVIDIA GTC Berlin 做现场演示。