公共语音基准测试的分数越来越高，甚至接近人类水平，但这未必代表模型在真实世界中的表现。原因之一在于，模型可能针对公开基准本身进行了优化，记住了测试集的特定模式，而不是真正提升了语音识别能力。这种现象常被称为 benchmark optimization 或 benchmaxxing，此前在语音识别领域一直难以量化。

最近一篇研究提出了三种测试方法来衡量这一问题。研究者选取了 11 个广泛使用的开源 ASR 模型，发现多个高分模型会复现 VoxPopuli 英文和 LibriSpeech（clean, other）数据集中的基准转录文本，即使音频内容与文本矛盾、关键词语已被静音、或音频同时支持两种不同写法时也是如此。在某些情况下，模型不仅依赖语音内容，还会利用微妙的声学线索来判断自己正在接受哪个基准的测试，导致其分数高估了真实转录能力。

第一种测试是参考分歧探针，以 VoxPopuli 为案例。该数据集已知含有较多转录错误，研究者用多个低音素错误率（PER）的独立模型组成集成，标记出模型与基准参考文本一致分歧的情况，再与人工标注比对确认。例如，一个音频片段中清楚包含“Thank you, Mr. President”，但参考文本漏掉了“Thank you”。11 个模型中有 6 个复现了基准的错误转录，且同时模仿了基准的标点风格（如“Mr”不加句点）。当用新采集的欧洲议会录音或通用语音替换音频后，大多数模型转而转录出符合音频的内容，说明模型是在利用声学线索识别基准，并输出预期答案。

第二种测试是掩码实体检索，将测试音频中的数字静音，要求模型转录。数字在音频中完全不存在，模型本不应输出任何数字，更不应输出参考文本里的精确数字。结果发现，在 LibriSpeech 上，一些最强基准模型在约 30–40% 的例子中恢复了被静音的数字，即使该数字已从音频中移除。在新鲜采集的数据上效果会减弱，说明周围的基准相关音频帮助了模型恢复参考文本，而不仅仅是文本自动补全。

第三种测试是拼写切换，考察模型是否会根据基准的参考文本来选择不同的拼写。例如，VoxPopuli 使用“Mr.”，而 LibriSpeech 使用“Mister”。模型在两个数据集间切换拼写，有些模型的切换准确率接近 90%，远超随机基线 50%。这表明模型能够识别音频来自哪个数据集，并选择该基准期望的拼写形式，尽管两种拼写听起来完全相同。

研究还发现，这些行为在训练截止后新采集的同领域数据上会减弱甚至消失。其他干预措施，如要求模型翻译音频、限制注意力范围、去掉周围基准上下文或拼接普通对话音频，也能恢复忠实转录。相反，拼接 VoxPopuli 音频会让原本忠实的转录更倾向于匹配基准参考。这表明模型明明可以忠实转录字面内容，却会利用周围声学上下文决定是否遵循音频或采用基准特有的转录策略。

对模型选型而言，这些结果强调了使用完全隔离（held-out）评估集（如 RW-Voice-EQ Bench 和 Open ASR Leaderboard 所做）的重要性，以及不能只关注单一公开基准的 WER。Open ASR Leaderboard 已新增“Benchmark fitting”标签页，提供上述两种分析（VoxPopuli 参考错误率和所有公开数据集的拼写切换率），相关脚本和未归一化的模型输出已在 GitHub 开源。

基准开发者应避免简单的独立同分布数据划分，改用时间、说话人或其他元数据分离方式。训练数据和模型选择流程的更大透明度也有助于理解这些行为的成因。公开基准仍然有价值——它们透明、可重复、易运行、研究社区熟悉，但更关键的是能够区分真正的转录改进与无法泛化的基准专属收益。