基于语言选择性维度的语码转换检测

语码转换指同一句话里混用两种语言,在多语语音里很常见,但预训练语料对它的覆盖不足。要扩大覆盖,得从大规模语音库里找出这类语料。常见做法是先转录音频,再在文本里检测语言交替,但这对转录的准确性要求很高。

本文绕过转录,直接在语音上检测。方法很轻量:利用预训练语音编码器里的帧级语言信息,先用单语录音找出对语言有选择性的隐藏状态维度,再把对应维度的帧级激活聚合起来,输出“是否包含两种语言”的预测。整个流程只需要一个小的CS数据集来调节决策规则。

在CS-FLEURS的14个语言对上,Whisper-small编码器的平均F1为0.798,高于CNN的0.776和HuBERT线性基线的0.751(后者为单语语言识别训练)。结果表明,预训练语音编码器内部已经编码了识别语码转换所需的信息,这为构建更具代表性的多语语料库提供了一个轻量工具。

Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models

查看原文