前沿视觉语言模型在UI导航上展现出很强的能力，但推理成本高，难以用于日常场景。相比之下，用监督微调或离线强化学习训练的小模型，容易记住静态轨迹，执行时很脆弱，出错后难以恢复。这篇论文提出一种在线强化学习框架，直接在真实iOS应用上训练UI导航代理，试图兼顾低成本与可恢复性。

框架把代理拆成两个专门组件：Planning agent负责规划任务步骤，UI Grounding model负责将界面元素与操作命令对应起来。训练中，LLM-as-a-Judge提供综合奖励信号：既有逐步的密集反馈来评估中间进展，也有终端奖励来评估整体任务完成度。优化采用PPO，并加入步骤级优势估计，让密集反馈直接参与每一步更新。为了提升评论家网络的稳定性，论文提出GiGPPO，一种邻居条件价值估计方法，利用并发轨迹中视觉相似状态的奖励信号稳定价值估计。

在线训练需要大量环境交互。为此，论文搭建了一套高效基础设施，可同时调度数百个虚拟iOS设备，让多个代理在真实App环境中并行收集数据。

在UINavBench、iOSWorld、AndroidWorld等基准上，在线RL训练出的代理明显优于SFT和只用终端奖励的RL基线，同时训练收敛更快。特别值得注意的结果是：8B模型在Android环境上的分布外泛化能力比SFT基线提升近7倍；在真实iOS应用上，它优于Gemini-3.5-Flash，与Gemini-3.1-Pro持平。

整体来看，这篇论文的价值在于把强化学习的训练场景从离线静态数据搬到在线真实环境，让代理在交互中学会规划、定位和纠错。更多方法细节和实验数据请参考论文原文。