Grabette:开源手持机器人操作数据录制系统

机器人操作数据收集有一个供应问题:模型架构(transformer-based VLA、扩散策略、世界模型)和 GPU 算力已经足够,缺的是大规模、多样化、真实世界的操作数据。

用遥操作机器人收集数据既昂贵又繁琐——需要机器人本体、专用硬件、数小时操作,难以覆盖足够的任务和环境多样性。但收集机器人数据并不需要机器人,只需要人手、一个夹爪、一个摄像头,以及恢复人手 6-DoF 轨迹的方法。

今天发布的 Grabette 就是一个满足此需求的开源低成本系统。手持夹爪+双摄像头+IMU,BOM 成本约 490 欧元。用户直接在现实世界用手演示任务,系统输出干净的、机器人可直接训练的 LeRobot 格式数据集。与之配套的还有一个名为 Gripette 的电机夹爪(BOM 120 欧元),装在机器人臂上用于执行训练后的动作。

Grabette 受斯坦福 UMI(Universal Manipulation Interface)启发,后者已证明手持夹爪+鱼眼相机 + SLAM 轨迹恢复 + 训练视觉运动策略这条路线是可行的。此前已有类似闭源设备(Agibot Mego 夹爪、Genrobot DAS 夹爪、Sunday Robotics 手套)。Grabette 的目标是把门槛降到最低:从“我有一个任务”到“我有一个训练好的模型”,路径尽可能短。

硬件设计上,Grabette 配备两个摄像头,分工明确:一个为广角鱼眼相机,提供策略需要的上下文丰富的腕部视角;另一个为 RGBD 相机(OAK-D 深度相机),专门做鲁棒的 6-DoF 追踪。数据记录基于树莓派、标准 Pi 相机、磁编码器,所有零件均能从公开渠道买到。

工作流程分两步:① 按下按钮,观察相机、追踪相机(彩色+深度+IMU)和夹爪编码器共用一个时钟同步记录数据,再按一次停止;② 在浏览器打开 Grabette 仪表盘,选择要添加到数据集的片段,一键启动后处理:上传至 Hugging Face Hub,用 RTAB-MAP 库做 SLAM 并校验轨迹无跳变/丢失,转换为 LeRobot 格式,最终在 Hub 生成数据集,可用 LeRobot 可视化器查看。

作为端到端示例,项目使用 200 段录制演示训练了一个 Diffusion Policy(ResNet18 + SpatialSoftmax 编码器,DDIM 调度器,6-DoF 旋转动作),在单块消费级 GPU 上运行,并在配备 Gripette 夹爪的 OpenArm 7-DoF 机械臂上进行评估。但核心发布物是录制系统本身,不是这个训练流程。

Grabette 完全开源,硬件 CAD/生产文件、树莓派采集程序、后处理管道、下游训练和评估参考代码全部公开。数据格式与具体机械臂无关,存储的是相机坐标系下的 6-DoF 笛卡尔位姿加夹爪状态,因此同一份数据可供不同机器人和不同学习方法使用。未来还会开发名为 Casquette 的头戴式第一人称视角采集设备。

整个项目的最终目标:一旦演示录制像拍视频一样简单,任何人都可以贡献数据。单个实验室无法建立的大规模开放协作操作数据集,可以通过社区共建实现。

Grabette: an open system to record robot-manipulation data

查看原文