RISED:多环境智能体训练的选择与自蒸馏评分标准

多环境强化学习训练通用智能体时,常见做法是按环境粒度分配训练数据,或依赖局部奖励信号,但这两者都没有显式考虑当前批次中不同环境的 rollout 之间的关系。此外,不同环境的学习速度不同,同一批次里可能同时出现全失败和全成功的 rollout 组,这些组内部的奖励完全一致,导致无法用标量奖励做组内对比。单一标量奖励在跨环境关系和组内对比两方面的信息缺失,是 RISED 要解决的核心问题。

RISED 的思路是引入一套跨环境共享的评分标准(rubric),用 LLM judge 给每个 rollout 打上标签,描述其行为特征。这些标签构成了行为画像,用于在线数据选择:优先选取与混合环境批次整体行为构成一致的 rollout,同时控制与已选数据的重叠度。正向 rubric 描述期望行为,可以为 on-policy 自蒸馏教师提供额外的 token 级监督;负向 rubric 描述不期望行为,用于引导后续 rollout 生成时绕开反复出现的失败模式。

实验结果显示,在不同模型骨干下,RISED 在多个环境上的平均通过率均达到最高,并且在每个单独环境中的排名不是第一就是第二。基于 rubric 的分析还能解释成绩提升伴随的行为变化,让训练过程的可解释性更强。该方法由新加坡国立大学和 Apple 的研究者共同提出,涉及作者包括 Jingtan Wang、Sirajul Salekin、Young mok Jung、Javier Movellan、Bryan Kian Hsiang Low、Manjot Bilkhu。

RISED 的贡献集中在两点:一是把 rubric 从单纯的奖励信号扩展为数据选择与策略监督的共同指导;二是通过跨环境共享的 rubric 词汇,让多环境训练的数据利用更高效。原文没有给出具体的通过率数值,也没有讨论该方法的适用边界,因此这里不做更多推断。

RISED: Rubrics for Agentic Multi-Environment Selection and Self-Distillation

查看原文