IBM Granite Speech 5.0:更准更快的语音转写与翻译

IBM 更新了 Granite Speech 系列:新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。三款模型分别对应企业语音工作的三条线:高精度多语种转写与翻译、边缘/设备端极速转写,以及需要分辨“谁在何时说了什么”的多说话人录音。

granite-speech-5.0-2b 是上一代 granite-speech-4.1-2b 的同参数规模后继者。支持英语、法语、德语、西班牙语、葡萄牙语、日语,以及这些语言与英语的双向翻译,另有英语到意大利语和英语到普通话的翻译方向。训练数据为 390,000 小时公共音频,外加针对日语 ASR、关键词偏置和翻译构造的合成数据。相比 4.1 2B,它的改进包括:英语短语音基准准确率更高,对噪声、混响、远场麦克风更稳;新增语言 ID 提示,在 prompt 中直接指定输入语言以引导多语种转写;长对话翻译比短句朗读更稳;关键词列表最多支持 2,000 个词条,可把产品名、人名、缩写偏置到转写结果中;还可在 prompt 中要求输出标点与大小写,多个测试集上的大小写 F1 在 89.7 到 99.5 之间。在 Open ASR Leaderboard 的公开英语短语音测试集上,其平均 WER 为 5.06%,在开放权重 ASR 模型中排名第二。模型以 Apache 2.0 发布,原生支持 Transformers、vLLM、llama.cpp,以及面向 Apple Silicon 的 mlx-audio。

granite-speech-5.0-470m-turboctc 原本是 470M 参数、只支持英语的编码器,主打速度。这次保持参数规模,加入了多语种转写(英语、日语、西班牙语、德语、法语、意大利语、葡萄牙语)、原生标点与大小写,并在训练中显式针对混响音频,使回声较强的房间和远场录音表现更稳。速度方面,通过编译单个 Conformer 块并在整个计算图中复用其图结构,warmup 时间被压缩,Open ASR Leaderboard 上的 RTFx 从发布时的大约 12,600 提升到 19,870,约 1.6 倍,同时准确率水平保持不变。

granite-speech-4.1-2b-plus 面向会议、支持电话和访谈这类多说话人长录音。架构、prompt 格式和 API 均未变化,因此是当前模型的直接替换,只是权重更好。四个改进点都有数字:说话人归属更准确,词语级日记错误率 WDER 下降 7%(从 4.40 降至 4.10),说话人归属词错率 cpWER 下降 7%(从 30.50 降至 28.48);时间戳平均偏移 AAS 从 210.86 降至 98.54,减少一半以上,短语音的 AAS 从 29.27 降至 26.20;长语音测试集 WER 下降 24%(从 13.53 降至 10.22);20 词关键词列表的偏置词错误下降 45%(从 11.79 降至 6.48)。所有指标都是越低越好。

如果主要需求是高准确度转写、翻译或关键词偏置,用 granite-speech-5.0-2b;如果需要极速或设备端转写,用 Turbo CTC,官方提供了 WebGPU 流式 demo 可在浏览器里体验;如果处理多说话人会议或通话,用 4.1-2b-plus。三款模型均用 Apache 2.0 协议发布,原生支持 Transformers。完整评估结果、架构细节、训练数据和示例见各模型卡片。生产环境若需额外风险检测,官方建议搭配 Granite Guardian。

Granite Speech 5.0: Transcribe, Translate, and Attribute more Accurately and Faster

查看原文