半监督联邦ASR实用配方:在线伪标签与服务器更新稳定化

这篇文章给出半监督联邦学习(SSFL)在语音识别(ASR)上的实用配方。SSFL 的做法是:服务端只有一小部分有标注种子数据,客户端在大量无标注数据上,靠一个教师模型生成伪标签来训练。ASR 对这个过程特别敏感:伪标签的错误既会在输出序列内部传播,也会在训练轮次之间累积,最终导致训练发散,和完全监督的联邦学习相比差距很大。

作者把缩小差距的问题拆成两个耦合的设计轴:教师轴和锚点轴。教师决定由哪个模型产生伪标签;锚点指服务端在有标注数据上的更新,用来稳定训练。教师轴上,每个客户端拿自己不断演化的模型当“在线教师”,单独用会发散,但一旦被锚点稳定住,就能匹配甚至超过在一轮内固定的全局广播教师——在域内数据上优势明显,在域迁移场景下也有竞争力。当种子数据越来越强,在线教师的相对优势变小时,在第 r 轮从全局教师切换到在线教师的过渡式方案,可以匹配或超过两种极端选择。

锚点轴上的结论更反直觉:服务端必须在每轮之间持续用有标注数据训练,否则在线教师会漂移;这种交错训练(interleaving)比种子模型本身更能决定收敛。两个轴不能分开设计。激进的教师选择只有在锚点把训练稳定住之后才有收益;而锚点对数据增强和批大小高度敏感,因为它们决定了服务端向训练过程注入多少输入噪声和梯度噪声。到底需要多大程度的稳定化,取决于具体领域,由种子数据的分布离散程度以及它和客户端数据的重叠程度决定。

基于这些发现,论文给出了 SSFL 在 ASR 训练中的实用准则。结果上,相对于此前最强的方法,11 组对比中胜出 9 组,域内平均提升 20.8%,跨域平均提升 10.0%,明显收窄了与完全监督联邦学习的差距。

A Practical Recipe for Semi-Supervised Federated ASR: Online Pseudo-Labels with Server Update Stabilization

查看原文