
Nemotron 3.5 转录与 Granary v2 发布

NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,定位是「可提示」的多语言转录模型:一个 checkpoint 同时做转录、说话人归属、翻译和音频问答。它可转录 40 种语言,31 种语言可与英语互译,13 种语言支持说话人标注;单段录音最长 1 小时,最多标 8 个说话人。开发者能用自然语言指定输出,决定音频在何处处理,并针对领域词汇和口音适配。模型已上 Hugging Face 和 ModelScope;从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心 GPU,单卡即可运行。
评测上,它在 Hugging Face Open ASR Leaderboard 英文赛道开源权重模型里排第一,平均 WER 5.33%;多语言 7 种语言平均 WER 4.62%,长音频 10.98%,同为模型卡对比中的开源最优。Artificial Analysis 语音转写榜上,它与另一模型并列开源第一,AA-WER 2.8%,但只有约 4B 活跃参数,对方约 24B;AA-AgentTalk 上 WER 1.8%,下一名开源模型 2.3%。其结构是语音编码器接混合 Mamba–Transformer MoE 语言模型,30B 总参数每 token 激活约 4B。
说话人归属上,模型把 Sortformer 说话人线索与声学特征一起送入语言模型,生成时直接给每句话打标签。David AI 的 21 语言 diarization 榜上,DER 18.26%,低于 NVIDIA 专门的 Nemotron 3 Diarization 的 18.38%;VoiceArena 14 系统对比中,cpWER 32.4%,排名第一,删除词占比 8.32%,中位数约 31%。Ocular AI 的 Converse-STT 评测也将它列为开源第一。
随模型公开的 Granary v2 数据管线与清单,覆盖 463,062 小时、48 种语言、16 个源语料库,语言数从 Granary v1 的 25 种增加到 48 种。它的意义是把提示级控制延伸到训练:给每段录音生成三种转录目标——文本归一化带口误、不带口误、干净格式。管线分音频准备、ASR、任务标签生成、HiFi 过滤四步。VoxPopuli 上,354k 小时被过滤到 111k 小时。开发者可用 NeMo Curator 配合 Ray、NVIDIA Dynamo 跑在自己数据上,也可直接用公开 manifest;源音频需按各语料库原始许可下载。
医疗 ASR 案例展示了完整适配路径。Eka Care 基准共 3619 个片段,无官方训练划分。先用提示指定语言和拉丁字母,全基准 WER 从 30.8% 降到 23.8%;再用约 153 小时合成语音、29 小时 Common Voice 口音英语、63 小时 MultiMed 医疗录音微调,全测试集 WER 到 11.8%,相对出厂减少约 62%。按说话人划分的 2764 个留出片段上,最佳提示基线 WER 22.44% 降到 12.17%,相对降 45.8%;关键词 WER 从 9.2% 到 6.5%,语义 WER 从 10.0% 到 7.6%。同一留出集上,12.17% 低于开源医疗专科模型 13.79% 和通用 ASR 14.92%。LibriSpeech test-clean 从 1.54% 微升到 1.69%。全程约 14 GPU 小时(NVIDIA GB300)。配方是训练语音编码器和投影层,用 LoRA 改语言模型,两次运行混合不同数据,选点后均匀平均;最终只用一次模型推理,不做检索或后处理。作者建议至少保留 100 条真实标注片段供选择。
部署上,模型支持 vLLM,也可用 NeMo-Speech.cpp 本地跑;RTX PRO 6000 Blackwell 单卡 NVFP4 高并发下,处理 100 小时音频不到 3 分钟。Agora 已用它做课堂回放字幕。需要注意:它面向录音而非实时流;音频问答仅训练英语;数据集规模不等于完整训练混合;官方提醒对姓名、说话人切换和答案抽查。不想自托管可用 Baseten、DeepInfra、Simplismart 的托管端点,ModelScope 的 ms-swift 也可微调。


