
联邦变分不等式的更快收敛率

联邦学习在解决随机变分不等式(VI)问题上长期落后于联邦凸优化的收敛率上界。本文作者针对这一差距,给出了一系列改进的收敛率分析。
核心贡献有两部分。第一,他们重新分析了经典的 Local Extra SGD 算法,在一般光滑单调的变分不等式设定下,得到比以往更紧的收敛界。第二,他们指出 Local Extra SGD 存在固有缺陷,即会导致过度的客户端漂移(client drift),这限制了其性能。
为了克服这个缺陷,作者提出新算法 LIPPAX(Local Inexact Proximal Point Algorithm with Extra Step)。这个算法能缓解客户端漂移,并在多个特殊场景下获得更强的收敛保证,包括有界 Hessian、有界算子、以及低方差设定。此外,工作还将结果扩展到联邦复合变分不等式,并建立了改进的收敛保证。
论文作者来自佐治亚理工学院和 Apple。整体来看,这项工作在理论上补齐了联邦变分不等式收敛性分析中的关键空白,并给出了一个可替代现有方法的新算法。对于从事联邦学习理论、特别是涉及非凸或变分问题的研究者,这是一个值得关注的方向。


