Grabette：一种用于记录机器人操作数据的开源系统。
并共同构建一个共享数据集。
只需手持夹爪，在几分钟内记录你自己的操作任务，自动将其转化为可供机器人使用的数据集，并帮助壮大一个面向机器人学习的开放协作数据集。
瓶颈不在模型，而在数据。
机器人学习存在供给问题。我们已经拥有足够强大的策略架构（基于 Transformer 的 VLA、扩散与 Flow Matching 策略，甚至世界模型），也有足够的 GPU 来训练它们。我们缺少的是大规模、多样化、真实世界的操作数据。
用遥操作机器人来采集数据既昂贵又费力：首先，它需要一台机器人。而且根据遥操作方式不同，如果数据采集要花上几个小时，对用户来说会很繁琐，还会带来显著的硬件和物流挑战。面对所需任务和环境的广泛多样性，这很难规模化。
但你并不需要机器人来采集机器人数据。 只需要一只人手、一个夹爪、一台摄像头，以及一种恢复手部动作 6 自由度轨迹的方法。捕捉示范，你就拥有了机器人可以学习的数据。
这就是我们今天发布的内容：Grabette，一套用于记录操作数据的开源、低成本系统。拿起它，用你自己的手记录任务，然后获得一份干净、可供机器人直接使用的数据集。无需机器人，无需实验室，无需遥操作设备。
更大的目标也在于此：如果记录一个示范像拍摄视频一样简单，那么任何人都可以贡献数据。我们希望 Grabette 能够孕育出一个大型、开放、协作式的操作数据集。这是任何单个实验室都无法独立构建的。
站在 UMI 的肩膀上
Grabette 的灵感直接来自斯坦福的 Universal Manipulation Interface（UMI）：一种带有鱼眼摄像头的手持夹爪，可在“真实环境”中记录示范，通过 SLAM 恢复摄像头轨迹，并据此训练视觉-运动策略。
UMI 证明了这套方法是可行的。其他闭源设备也存在，例如 Agibot 的 MEgo 夹爪、Genrobot 的 DAS 夹爪以及 Sunday Robotics 的 skill capture glove。
我们的目标是让它尽可能易用，把从“我有一个任务”到“我有一个训练好的模型”的门槛降到最低。
Grabette 构建于现代开放生态之上：LeRobot 负责数据集，Hugging Face Hub 负责共享，并提供一个可直接在浏览器中运行、无需安装任何东西的处理流水线。Grabette 是任何人都可以在工作台上搭建、在实地使用并为其贡献数据的工具。
认识 Grabette
我们已经开发 Grabette 几个月了，并且认为它已经足够可用，可以分享出来。我们很高兴现在与大家发布它！
Grabette 是一款手持夹爪，配备了重建操作示范所需的一切。
它搭载了两台摄像头，各自承担不同任务。 将这两种角色分开是有意为之：廉价的广角鱼眼相机为策略提供所需的、富含上下文的信息视角，类似腕部相机；而 RGBD 相机则负责稳健的 6 自由度跟踪这一繁重工作。
虽然 Grabette 会记录用户在执行任务时产生的数据，但它依赖与之对应的机器人端执行器来完成训练后学到的动作。因此，下面介绍它的机器人双生体：Gripette，Grabette 的机械臂末端执行器版本。
这套家族产品共享相同的硬件基因：
-
Grabette：手持式示范采集设备（摄像头 + IMU + 夹爪，物料成本约 490 欧元）
-
Gripette：电机驱动夹爪（摄像头 + 两个舵机，物料成本约 120 欧元），用于在真实或仿真的机械臂上完成闭环控制
Grabette 手持记录设备（左）和 Gripette 机器人夹爪（右）
为所有人而生
一切都是开源的
- 硬件：Grabette 和 Gripette 的 CAD 及生产文件
- 采集服务：设备端 Raspberry Pi 软件
- 处理流水线：可在本地运行，也可通过我们的 Hugging Face Space 在线运行
- 下游示例栈：标准 LeRobot 训练流程 + OpenArm 评测，作为参考
组件。 都是你可以买到的标准传感器，没有封闭流水线，也没有分叉锁定。Raspberry Pi、标准 Pi 摄像头、现成的 OAK-D 深度摄像头、磁编码器。其核心目标就是让任何人都能用你可以直接下单买到的零件组装出来。
按设计与机器人无关。 采集流程和数据格式都不假设特定机械臂。示范会以相机局部坐标系下的 6 自由度笛卡尔位姿加上夹爪状态进行存储，输出则是 Hugging Face Hub 上的标准 LeRobot 数据集，因此同一份数据可以驱动不同的机器人和不同的学习方法。不过，你仍然需要在机械臂上配套使用对应的 Gripette 夹爪。
从你的手到数据集，只需两步
这一版本让任何人都能快速把“我想演示一个任务”变成“我已经有了可用于训练的数据集”，而无需任何前置经验。
1. 记录
按下按钮后，观察摄像头、跟踪摄像头（彩色、深度和 IMU）以及夹爪编码器关节值的数据会同时记录，并使用同一个共享时钟来确保正确同步。再次按下按钮即可停止该回合，数据会保存在 Raspberry Pi 本地。