欢迎 Beam：501B 开源模型，可拥有、可定制、可扩展
Beam 是 Reflection 这家新美国实验室发布的第一款开源模型，已在 Hugging Face 上架。它是一个稀疏 MoE 模型，总参数量 501B，每个 token 只激活 23B 参数；纯文本输入，上下文窗口 1M token，采用 Apache 2.0 许可，主打编码与 agentic 场景。官方配有基于 Rust 的专用推理 harness，以及 transformers、SGLang、vLLM 的 day-0 支持，并提供 SFT 和 RL 的后训练配方。
架构上有几个值得注意的设计。解码器共 52 层，hidden size 5120。其中 43 层用滑动窗口注意力（窗口 512 token），9 层全局注意力（每第 6 层和最后一层）。滑动窗口层用 RoPE，全局层不用位置编码，而用一个随可见 token 数缓慢增长的标量缩放，即 (1+(pos+1)/2048)0.1，称为 scalable-softmax query scaling，防止长上下文下 softmax 摊平。注意力采用 GQA，48 个 query head、8 个 KV head，查询和键上做 RMSNorm。MoE 方面，前 3 层是 dense SwiGLU，其余 49 层每层有 256 个专家，每个专家约 39M 参数，专家参数占全模型 98.4%。路由采用 DeepSeek-V3 风格的 group-limited 方案：sigmoid 打分，分 8 组（每组 32 个专家），保留分数最高的 4 组，再从中选 8 个专家，且无共享专家。所以每次推理只计算约 23B 参数，但所有 256 个专家都得驻留内存。
残差连接是另一个独特设计。一般 Transformer 的子层输出按权重 1 累加进残差流，流会随深度增长；Beam 则把第 k 步子层输出按 1/sqrt(k) 加权，原流保留 sqrt((k-1)/k)，两个权重平方和为 1，使残差流尺度从第一层到最后保持不变。每个子层前后都做归一化，最终 logits 在 FP32 下过 ±30 的 tanh softcap。FP32 计算的固定位置包括 router、SwiGLU 乘积、norm、RoPE、query scaling 和 softcap。
长上下文的 KV cache 优化也很具体：每层每 token 缓存 2048 个值，但只有 9 个全局层保留全序列，43 个滑动窗口层各只保留固定 512 token 窗口。因此 cache 增长从每 token 208 KiB 降到 36 KiB，约六分之一。在 transformers 动态 cache 和 BF16 下，1M 全上下文的缓存约 36.08 GiB，而如果 52 层全是全局注意力则需要 208 GiB。
Reflection 团队给出的基准中，BF16、FP8、NVFP4 三种精度的表现相差不大。例如 SWE Bench Verified 为 81.6/80.2/80.7，AIME 2026 为 97.7/98.0/97.5，HLE 无工具 36.0、有工具 51.1。涉及工具调用的 MCP Atlas 为 80.8/81.5/80.5。这些数字来自团队官方发布，可作为参考。
部署方面，NVFP4 检查点将 BF16 的大约 1TB 权重压到 约 280GB**，主要面向 NVIDIA Blackwell；FP8 检查点适合 Hopper/Ampere。一块 B200 有 180GB HBM，因此 2 块 B200（360GB）能放入权重但余量小，官方建议 4 块 B200；也可以用 2 块 B300 或 8 块 RTX Pro 6000。没有 Blackwell 硬件时，可通过 Hugging Face Inference Providers 以 serverless 方式试用。推理代码上，transformers 的 pipeline 即可直接运行；tokenizer 自带 response template，parse_response 能直接把输出解析成 reasoning、answer 和 tool call 三个字段，不需要正则。vLLM 和 SGLang 也有现成 serve 命令，并可配合 DFlash2 speculative decoding（drafter 每次最多提议 15 个 token）。
后训练部分，官方给出了两条路径。SFT 用 TRL 的 SFTTrainer + LoRA，在 8 块 B300 上可达约 19000 token/s；在 Multilingual-Thinking 数据集上跑一个 epoch 后，语言遵循指标从基础模型的 3/16 提升到 16/16。RL 方面，Reflection 和 RadixArk 提供 Miles 上的 GRPO 配方，支持 full-parameter（96 块 H200：64 训练、32 rollout）和 LoRA（32 块 H200）两种模式，已在真实 checkpoint 上验证。示例配置还说明了 rollout 采样、打分、优化器状态 NVMe 卸载等细节。
最后，官方还分享了三个用 Beam 构建的实验：用 Pi 编码 harness 生成一个本地 macOS 听写应用 BeamSpeak；对比单 agent、多 agent 协作和 lead agent 派发三种方式在 ProgramBench 上的表现；以及将 incident triage 策略转成小型决策模型的实验——工作流先用 Beam、后改用 GLM-5.3，微调的是 Qwen3.5-0.8B，在 320 条测试工单上全对率从 zero-shot 的 4.69% 提升到 76.25%，平均延迟从 1218.06ms 降到 102.58ms（约 11.9 倍）。此外，Reflection 会为基于 Beam 的最好开源项目提供 1 万美元 Hub credits，要求是把成果发布到 Hub 上。
