
Apertus 1.5 发布说明

Apertus 1.5 是对 Apertus 1.0 的继续预训练版本,把 8B 和 70B 模型扩展成原生多模态模型:支持图像与音频理解、可选思考模式、上下文窗口从 8k 增至 262,144 tokens(4 倍),并改进指令跟随与工具调用。8B 和 70B 的新权重已于 2026 年 7 月 24 日以 Apache 2.0 协议发布到 Hugging Face。具体做法是继续预训练:8B 增加 4 万亿 tokens、70B 增加 2 万亿 tokens,总量分别达到 19T 和 17T。训练数据、权重、价值观和完整训练细节全部公开。
多模态采用 early-fusion 方式,图像和音频在进入模型前先被 token 化,与文本 token 处在同一序列,而不是外挂独立的视觉编码器。图像用 Emu3.5 tokenizer,512×512 图片变成 1,024 tokens;音频用 WavTokenizer,每秒 40 tokens。因为只扩展词表、不改变架构,训练速度与纯文本一致。模型能理解图像和音频,但只生成文本。
预训练分四个阶段:无配对阶段(文本加独立图像/音频)、配对阶段(图像-标题、音频-转写)、冷却阶段(更高比例的数学和代码)、长上下文阶段(窗口从 8k 逐步到 262k)。过半训练 token 仍是纯文本,以保留 Apertus 1.0 的语言能力。文本数据来源包括 FineWeb2-HQ+、FinePDFs、Nemotron-CC;所有新数据继续遵守公开可得、许可宽松、回溯尊重 robots.txt 的旧标准。
后训练分五个阶段:SFT(3.7M 文本样本加图像和语音数据)、长上下文 SFT(在完整 262k 窗口上恢复被短窗口 SFT 削弱的长上下文能力)、RLVR(约 350k 数学/代码/指令/多语言/视觉提示,混合思考开关)、DPO(用裁判打分偏好对提升对话质量、工具使用和安全性)、SDPO(通过裁判反馈和自蒸馏对齐 Apertus Charter,仅用于 8B)。文本 SFT 混合、偏好池和偏好对也已发布。
评测范围同步扩大,新增多模态与思考模式评测,多模态走 MLLM-eval-suite(合并 lmms-eval 和 VLMEvalKit),文本沿用基于 lm-evaluation-harness 分支的工具。结果方面,Apertus 1.5 8B 在指令跟随和多语言任务上优于同尺寸开源模型;思考模式在 AIME 等强推理基准上进一步提升。多模态性能接近 Gemma 4 12B 等当前开源模型,在空间理解以及文档/图表理解上具有竞争力。在 Swiss Legal 任务上与领先开源模型持平;在 Last Translation Benchmark 上,8B 的机器翻译能力匹敌 GPT-OSS-20B,超过 Claude Haiku 4.5 和 Google Translate。
与 EvalEval 联盟合作,用 Every Eval Ever(EEE)规范发布评测结果:不只记录分数,还记录谁跑的评测、模型如何访问、生成设置和指标解读方式,这些通常被榜单遗漏。该基础设施与英国 AI 安全研究所公开评测所用的相同。文本评测跑在公开的 lm-evaluation-harness fork 上,EEE 提供转换器,任何人都能在相同设置下复跑对比。EEE 已被映射到欧盟 AI 法案第 55 条和 GPAI 实践准则,能覆盖 60 个评测报告要素中的 56 个。项目还同时发布训练内容公开摘要与自愿的实践准则文件。
可复现性方面,Technical Report 记录了全部配方、消融和数据混合;Hugging Face 集合上托管了基础权重、SFT、RLVR、DPO 中间检查点,以及训练数据混合集。消融显示,SFT 阶段把多模态数据与文本混合有利于所有模态;多模态推理轨迹的好处能扛住后续纯文本 RL——从带多模态轨迹的 SFT 检查点出发,RL 对数学的提升大于从纯文本检查点出发。应用生态方面,Proton Lumo 和 Infomaniak Euria 已集成 Apertus 1.5,Swisscom、Infomaniak、Phoeniqs 等提供 API。Hugging Face 下载量已过 500 万。团队在苏黎世 AI+X 峰会上公布了 Apertus 2.0 路线图:稀疏 MoE 架构,约 600B 总参数,以 Agent、数学和代码为优先方向。


