Granite Switch 4.1 统一聊天、决策与语音

Granite Switch 4.1 是去年春季启动的 Granite Switch 项目的延续,核心思路是模块化模型开发。这次发布的 8B 和 30B 模型把三类能力组合进同一个托管端点:通用决策、安全专用决策和语音转录。具体来说,模型内置了一个新的通用 Decision aLoRA、一个在安全相关决策任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash 的 Guardian aLoRA,以及 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC。

这些组件和基础模型组合后,GPU 上的 VRAM 占用大约与单独跑基础模型相同。能力变多,GPU 需求不涨。关键在于 Switch adapters 被设计成缓存高效的 Activated LoRAs:基础模型生成 KV cache 后,可以复用到后续任何基于适配器的决策。再叠加团队最近向 vLLM 提交的低秩适配器推理加速,以及同址部署的 ASR 编码器,模型能在聊天、决策和语音请求之间快速切换。Granite-switch-4.1-8b 已可在单个端点上实时完成音频转录、摘要生成、有害内容筛查和 15+ 通用标志测试。

Granite Libraries 是整套决策适配器的来源。上一轮发布已经积累了一批专用任务适配器。Jev 等封闭决策模型追求通用性,但 Granite Libraries 中的专用适配器在专门分类任务上往往超过通用模型。由于所有适配器共享基础模型的 KV cache,在通用决策适配器旁叠加专用适配器,额外成本几乎为零;通用性由 generalist 兜底,专项准确率由 specialists 提供。

在一次对比中,Granite-Switch-4.1-30B(冻结的 Granite 基础模型 + 4 个专用 aLoRA)完成一个真实世界的 5 步 RAG 工作流,速度明显快于 Jev-27B(冻结的 Qwen 基础模型 + 1 个通用决策 LoRA)。另一个例子是 Doom:用自定义适配器教一个 3B 参数的 Granite Switch 模型玩游戏,它能以 60-100 决策/秒 的速度做瞬间判断,而 Jev 报告为 10 决策/秒;并且它还能一边玩一边叙述和回答问题。

这套模型按“batteries included”方式发布,预置了一组可用适配器;但任何人都可以自己去 Granite Libraries 混合搭配,组装自己的 Switch 模型。官方计划后续发布 Adapter SDK(用于在 Mellea 训练适配器)、教程和更多支持,让社区自定义和第三方适配器进一步扩展这套体系。

Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint

查看原文