Meta 发布了开放权重模型 Muse Spark Open，这是一个混合专家（MoE）多模态模型。总参数约 816B，每个 token 只激活约 42B，上下文窗口为 1M tokens。它接受文本、图像、音频和视频输入，输出文本，开发者可以用同一接口查询不同类型的内容。Muse Spark Open 是 Muse 系列的 full-size 模型，紧随八月发布的 Muse Glimmer；原文称它是目前美国最强的开放权重模型。训练目标非常明确：面向 agentic coding，包括阅读代码库、编写与调试代码、调用工具，因此它能一边处理代码，一边看截图、听语音笔记或观看屏幕录制。

架构上，语言模型有 62 层、隐藏维度 8192，使用 grouped-query attention（128 个 query 头、16 个 KV 头，每头 64 维），并带 QK-norm 和可学习的残差门控。每个 MoE 层有 256 个专家，每个 token 只路由到 8 个专家；每个专家是 8192→4096→8192 的前馈网络，并自带输出归一化。专家参数约占模型总参数的 97%。所以每 token 的实际计算量只有约 42B 参数，但 256 个专家必须全部驻留内存：显存需求对应 816B 模型，运行速度却接近 42B 模型。BF16 检查点约 1.5TB，另有 NVFP4 4-bit 检查点，专为 NVIDIA Blackwell GPU 设计，原文称精度损失可忽略。输入输出是独立的嵌入矩阵，各约 1.66B 参数。

多模态处理上，图像和视频共用一个感知编码器：1.8B 参数、50 层、隐藏维度 1536、16 个注意力头，把图像切成 14×14 patch，输出 4096 维特征，位置信息用学习到的绝对嵌入加 2D RoPE；每第 4 层和最后一层用全注意力，其余层用稀疏注意力。音频由独立编码器处理，每 80ms 产生一个 token，即每秒 12.5 个，10 秒音频约 125 个 token，编码器是卷积金字塔结构（patch size [16,6,5,4]）。这些多模态 token 与文本 token 在同一个上下文窗口内混合。

长上下文方面，1M 窗口对应 max_position_embeddings=1,048,576。grouped-query attention 控制了 KV cache 大小：每 token 约增加 126,976 个值，BF16 下约 250KB，填满 1M 上下文约需 266GB。所以计算量虽然不大，内存门槛却不低。

部署生态比较完整。Transformers 集成提供 MuseSparkForConditionalGeneration 和 MuseSparkProcessor，用 DistributedConfig 设置 TP/EP。llama.cpp 已支持 GGUF 量化版，官方在 Mac M3 Ultra（512GB）上测了 2-bit quant，约 18 tokens/s，模型占 304GB。SGLang 支持全部四种模态，NVFP4 参考配置跑在 4×GB300 上。vLLM 参考集成支持文本和图像，NVFP4 需要 Blackwell，默认 serving context 为 128K。MLX 的 oMLX 提供 3-bit/4-bit 量化，oQ3e 在 M3 Ultra 上 prefill 约 225 tok/s、生成约 21 tok/s（1024 token prompt、128 生成 token），模型约占 344GB。Inference Endpoints 也有一条命令部署的 NVFP4 配方，可选 8×RTX Pro 6000（131K context）或 8×H200（1M context）。

推理和工具调用上，模型有一个 reasoning effort 杠杆，low/medium/high/xhigh 映射到 16/64/256/512，且无法完全关闭推理，最低只能设 low。视频输入默认抽帧到 2 FPS、最多 96 帧，fps 可调，但抽帧越狠越容易丢事件，提高 fps 又会增加内存和 prefill 延迟。音频输入要求 24kHz 单声道，处理器会自动下载、重采样和 padding。工具调用支持文本和多模态，chat template 采用 Harmony channel 风格（由 gpt-oss 引入），模型会路由到 self（推理）、commentary（工具调用前后的注释）、user（最终回答）等 channel，方便调试输出质量。

微调有完整配方：官方用 TRL SFTTrainer 在 8 节点 8×H100（共 64 卡）上微调 full-size checkpoint。FSDP2 将模型切到 64 卡，EP=8 把每层 256 个专家分成 8 组，LoRA 只调 attention 的四个投影，专家保持冻结。500 步约 2 小时，吞吐约 8,000 tokens/s，平均 token 准确率从 72% 升到 84%，loss 从 1.26 降到 0.57。

官方还演示了几个实际场景：2-bit 量化版 + Pi 编码 agent 生成 Three.js 3D 资产生成，模型根据浏览器截图反馈迭代；用 OpenEnv 包装浏览器动作，模型只看截图、URL、系统提示和上一步动作就做决策，不依赖 DOM；还有把语音、图像和 agent 能力结合在一起的浏览器 demo，根据语音描述去 Amazon 选品。整体看，Muse Spark Open 是面向 agent 长任务的开源权重模型，适合视觉/听觉输入丰富的编码与工具调用场景。部署前要算好显存：即使 3-bit 量化也需要超过 256GB 内存。