埃及和尼日利亚英语加入 Open ASR 排行榜

Open ASR Leaderboard 宣布与 Liva AI 合作,新增两个带口音的私有评测数据:埃及英语 1.34 小时、尼日利亚英语 1.55 小时。两者都是自发的对话式语音,转写包含标点和大小写,并保留口语不流畅痕迹(disfluencies)。

这延续了团队持续扩充 ASR 评测覆盖范围的路线:几个月前加入来自 Appen 和 DataOceanAI 的 11 个私有 split,覆盖五种口音的朗读和对话语音;此后又通过 Voice Arena 增加了一个印度英语私有 split。社区反馈显示,held-out 私有评测集对可信评估很重要。

引入新私有数据的直接目的有两个:一是让 ASR 评测覆盖更多口音和语言,二是通过新增私有数据并引入新数据提供方,降低 benchmaxxing(针对评测集刷分)的可能,提升评估信任度。

配合新增口音,Private tab 现在提供更细的口音分组。分组按 Kachru 的 Three Circles(三圈理论)设计,这一想法来自 Hume AI 的排行榜。目前报告口径有两组:US 与非 US(UK、澳大利亚、加拿大、印度、尼日利亚、埃及);Inner Circle(US、UK、澳大利亚、加拿大)与 Outer & Expanding Circles(印度、尼日利亚、埃及)。更多口音加入后,Outer 和 Expanding 圈会进一步拆分。

Liva AI 通过真实消费者使用的产品收集多模态交互数据。由于同时掌握采集环境和分发渠道,它可以围绕模型在特定领域、行业、语言、模态和交互类型上的短板设计产品,获得自然、高上下文的真实行为数据,而不是人工诱导或任务型交互。这次合作相当于把这类真实交互数据转化为公开的评测资源。

Egyptian and Nigerian English join the Open ASR Leaderboard

查看原文