ToyBlocks:机器人学习与评估的受控世界

ToyBlocks是一个用于机器人学习和评估的受控模拟框架。机器人学习演示常常狭窄,难以分辨模型学到了什么、为什么失败。受科学家用培养皿研究复杂系统的启发,作者构建了 FoundationWorlds:将受控模拟世界与任务生成、演示生成和度量工具配对。ToyBlocks是第一个FoundationWorld,场景刻意简单——一个机器人臂和桌面上的方块,但机器人仍需处理方块间交互,完成推、翻、堆叠等动作。

ToyBlocks按四条原则设计:真实物理与外观、大规模自动生成任务与演示、推理与灵巧操作结合、覆盖域内广泛任务。开放域需要建模大量对象和交互,难以同时满足,窄域让这些要求可行。除了拾取和堆叠,方块表面带有字母和图片,可构造搜索、排序、布置等任务。域随机化改变方块大小、桌面高度等物理属性,测试泛化。

数据生成依赖强化学习和运动规划。技能训练在Nvidia的Isaac Lab中进行,特权信息(如方块精确位置)让机器人可以直接获得物理真值,从而自动生成通常需要真实遥操作的技能。任务与运动规划器(TAMP)自动选择和排序技能,在单个GPU上并行执行数百个计划,数据生成速率最高为实时 24倍。评估还提供执行速度、物体受力、任务进度等指标,不只是成功率。

作为配套实验,文章报告了多组研究。低层动作模型如VLA,在ToyBlocks的受控设置下暴露出泛化问题:即使经过大规模预训练,流行模型在新布局、新字母、新块数上也表现不佳;使用LoRA等微调方法可以改进,但作者认为泛化远未解决。高层推理方面,用 Molmo 2 做规划、ManiFlow 做执行的层级系统,在拼写“Ai2”的三字母任务上评估了不同难度。

Agentic系统实验用前沿模型通过MCP工具控制ToyBlocks。在搜索并拼写单词的任务中,模型在63%的任务里正确完成或宣告任务不可行;错误主要来自相似字母混淆和方向错误。当方块存在语义规律时,智能体能更快推断隐藏面内容。更进一步的设置让智能体像科学家一样设计实验、验证假设并自己写技能描述,技能描述从默认的24%成功率提升到63%,超过人类专家写的36%。

世界模型测试比较了Wan 2.2、Astra和LeWM。ToyBlocks提供场景真值,使评估可以量化。Wan 2.2预测方块运动和任务结果最准确;Astra抓取轨迹好但接触模拟差;LeWM在短交互内准确且快,但完整轨迹漂移。用表现最好的视频生成模型额外生成100条轨迹,能把策略在未见区域的成功率从 19%提升到78%。

零样本迁移实验中,只用ToyBlocks数据训练的模型部署到Franka FR3真实机器人。ManiFlow原子技能成功率在仿真与真实世界分别为 80.0%和81.1%;Molmo 2 + ManiFlow层级系统在仿真为55.5%(111/200),真实为50.0%(15/30)。迁移前做了系统辨识、物理与视觉域随机化,以及从RGB图像生成干净深度图等对齐工作。

ToyBlocks已开源模拟资产、程序化任务与演示生成器、自动生成的演示、两个训练好的模型(Molmo 2基和ManiFlow基)、训练与评估代码和验证集。初始数据含 85,336 个长时演示,每条约6–12个技能演示,合计近 1,600小时 执行数据和1.44亿帧。后续将发布更大规模数据集、更多技能、更全面基准,并集成RL训练能力。未来探索双臂操作、灵巧手、力与触觉传感器,以及无结构块堆上的交互式学习。

ToyBlocks: A controlled world for robot learning and evaluation

查看原文