Falcon-ASR:1.6B 参数的阿拉伯语语音识别模型

TII(阿布扎比技术创新研究所)发布了Falcon-ASR,一个 1.6B 参数的语音识别模型,重点面向阿拉伯语,尤其是阿联酋方言(Emirati)。它同时支持英语、法语、西班牙语和葡萄牙语,五种语言共用同一套权重,无需语言标记,输出为所说话语的转录文本。模型还支持词级时间戳,将每个词对应到音频中的位置。

阿拉伯语口语因地区、说话人和场景变化很大。能处理正式新闻广播的模型,未必能转录阿联酋方言对话或电话录音。方言阿拉伯语的转写资源也比现代标准阿拉伯语少,训练和评估更棘手。Falcon-ASR 的训练语料覆盖阿联酋方言、现代标准阿拉伯语、其他海湾及阿拉伯方言,以及英语;目标包括日常口语中的方言形式和语码转换。训练中还加入了背景噪声、重叠语音、音乐、房间混响和电话效果,也包含语速和音高变化;同样的增强也应用于阿联酋录音,以应对会议、通话等日常场景。

在阿拉伯语基准上,Falcon-ASR 遵循 ELM Research Center 维护的 Open Universal Arabic ASR Leaderboard 协议,使用同样的六个测试集和固定清单。其平均 WER 为 20.92%,比所用快照中的最佳公开结果 23.17% 低 2.25 个百分点。竞争数据来自截至 2026 年 9 月 30 日的排行榜快照。

针对阿联酋方言,公开数据 Casablanca 已有 UAE 子集,TII 另外做了内部评测,使用留出录音和人工验证的转写。在该评测中,Falcon-ASR 的 WER 为 22.73%,CER 为 10.19%,在所比较系统中均最低;WER 比第二名 Qwen3-Omni 低 4.07 个百分点。

英语方面,在 Hugging Face Open ASR Leaderboard 使用的七个公共英语测试集上,Falcon-ASR 平均 WER 为 5.74%。它还能转录法语、西班牙语和葡萄牙语,无需切换语言标志。模型基于 Falcon3-Audio 工作构建,相关架构与训练方法见论文《Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data》。

目前 TII 开放了 Hugging Face Demo Space 供试用,API 访问和原生应用仍在规划中。

Introducing Falcon ASR

查看原文