Grabette：ロボット操作データを記録するためのオープンソースシステム。
そして、共有データセットを共同で構築しましょう。
- ボトルネックはモデルではなく、データにある。
- UMIの肩の上に立つ
- Grabetteの紹介
- すべての人のために
- 手元からデータセットまで、わずか2ステップ
- このデータをどう使うか？一例を紹介します。
- 次はあなたの番です
- 今後の展望
グリッパーを手に持ち、数分で自身の操作タスクを記録するだけで、ロボットがすぐに利用できるデータセットに自動変換されます。そして、ロボット学習のためのオープンで協調的なデータセットの拡大に貢献できます。
ボトルネックはモデルではなく、データにある。
ロボット学習には供給の問題があります。私たちはすでに、十分に強力なポリシーアーキテクチャ（TransformerベースのVLA、拡散モデル、Flow Matchingポリシー、さらには世界モデルなど）を擁しており、それらをトレーニングするための十分なGPUもあります。不足しているのは、大規模で多様な、現実世界の操作データです。
遠隔操作ロボットを使用したデータ収集は、コストがかかり手間もかかります。まず、そもそもロボットが1台必要になります。また、遠隔操作の方法によっては、データ収集に数時間かかることもあり、ユーザーにとって繁雑なだけでなく、ハードウェアやロジスティクス面でも大きな課題が生じます。求められるタスクや環境の幅広い多様性を考えると、これをスケールさせるのは困難です。
しかし、ロボットデータを収集するためにロボットは必要ありません。 必要なのは、人間の手、グリッパー、カメラ、そして手の動きの6自由度（6DoF）軌道を復元する方法だけです。デモンストレーションをキャプチャすれば、ロボットが学習できるデータが手に入ります。
これこそが、本日私たちが発表するものです。Grabetteは、操作データを記録するためのオープンソースかつ低コストなシステムです。これを手に取り、自分の手でタスクを記録するだけで、クリーンでロボットが直接利用できるデータセットが得られます。ロボットも、ラボも、遠隔操作デバイスも不要です。
さらに大きな目標はここにあります。デモンストレーションの記録が動画撮影のように簡単になれば、誰でもデータを提供できるようになります。私たちは、Grabetteが大規模でオープンな、協調型の操作データセットを育むきっかけになることを願っています。これは、単一のラボが単独で構築できるものではありません。
UMIの肩の上に立つ
Grabetteのインスピレーションは、スタンフォード大学の Universal Manipulation Interface（UMI） から直接得ています。これは、魚眼カメラを搭載した手持ち式グリッパーで、「現実の環境」でデモンストレーションを記録し、SLAMによってカメラの軌道を復元して、それをもとに視覚運動ポリシーをトレーニングするものです。
UMIは、このアプローチが有効であることを証明しました。AgibotのMEgoグリッパー、GenrobotのDASグリッパー、Sunday Roboticsのskill capture gloveなど、他のクローズドソースのデバイスも存在します。
私たちの目標は、これを可能な限り使いやすくし、「タスクがある」から「トレーニング済みのモデルがある」までのハードルを最小限に抑えることです。
Grabetteは、モダンなオープンエコシステムの上に構築されています。データセットにはLeRobot、共有にはHugging Face Hubを使用し、何もインストールせずにブラウザ上で直接実行できる処理パイプラインを提供しています。Grabetteは、誰もが作業台で組み立て、現場で使用し、データを提供できるツールです。
Grabetteの紹介
私たちは数ヶ月前からGrabetteの開発を進めており、十分に実用的なレベルに達したと判断したため、公開することにしました。本日、皆様に発表できることを嬉しく思います！
Grabetteは、操作デモンストレーションの再構成に必要なすべてを備えた手持ち式グリッパーです。
それぞれ異なる役割を担う2台のカメラを搭載しています。この2つの役割を分けたのは意図的な設計です。安価な広角魚眼カメラは、ポリシーに必要な、コンテキスト豊かな情報を提供する視点（手首カメラに類似）を提供し、RGBDカメラは堅牢な6自由度（6DoF）トラッキングという負荷の高い処理を担当します。
Grabetteはユーザーがタスクを実行する際のデータを記録しますが、トレーニング後に学習した動作を実行するには、対応するロボット側のエンドエフェクタが必要です。そこで、ロボット側の双子であるGripette（Grabetteのロボットアーム用エンドエフェクタ版）を紹介します。
この製品ファミリーは、同じハードウェア遺伝子を共有しています。
-
Grabette：手持ち式デモンストレーション収集デバイス（カメラ + IMU + グリッパー、部品コスト約490ユーロ）
-
Gripette：モーター駆動式グリッパー（カメラ + 2つのサーボ、部品コスト約120ユーロ）。実機またはシミュレーション上のロボットアームで閉ループ制御を行うために使用されます。
Grabette手持ち記録デバイス（左）とGripetteロボットグリッパー（右）
すべての人のために
すべてがオープンソースです
- ハードウェア：GrabetteおよびGripetteのCADデータと製造用ファイル
- 収集サービス：デバイス側のRaspberry Pi用ソフトウェア
- 処理パイプライン：ローカルでの実行、またはHugging Face Spaceを介したオンラインでの実行が可能
- 下流のサンプルスタック：リファレンスとしての標準的なLeRobotトレーニングフロー + OpenArm評価
コンポーネント。 すべて市販の標準的なセンサーであり、クローズドなパイプラインやベンダーロックインはありません。Raspberry Pi、標準のPiカメラ、市販のOAK-Dデプスカメラ、磁気エンコーダを使用しています。その核心的な目標は、誰でも直接注文して購入できる部品を使って組み立てられるようにすることです。
設計上、ロボットに依存しません（Robot-agnostic）。 収集プロセスやデータフォーマットは、特定のロボットアームを前提としていません。デモンストレーションは、カメラのローカル座標系における6自由度のデカルト座標ポーズとグリッパーの状態として保存され、出力はHugging Face Hub上の標準的なLeRobotデータセットになります。そのため、同じデータを異なるロボットや異なる学習手法の駆動に使用できます。ただし、ロボットアーム側には対応するGripetteグリッパーを装着する必要があります。
手元からデータセットまで、わずか2ステップ
このバージョンにより、事前の経験がなくても、「タスクを実演したい」から「トレーニングに使用できるデータセットが手元にある」状態へと、誰でも迅速に移行できるようになります。
1. 記録
ボタンを押すと、観察カメラ、トラッキングカメラ（カラー、深度、IMU）、およびグリッパーのエンコーダ関節値のデータが同時に記録され、共通の共有クロックを使用して正確に同期されます。もう一度ボタンを押すとそのエピソードが停止し、データはRaspberry Piのローカルに保存されます。