💻 コード | 📊 データ | 🤖 モデル | 📖 ドキュメント
ロボットは衣類をたたむ、部品を仕分ける、見慣れない物体を操作するといったタスクを学習しつつあります。しかし、これまでのデモンストレーションは往々にして非常に限定的であり、ロボットが実際に何を学習したのか、あるいはなぜ失敗したのかを十分に説明することはできません。
複雑なシステムを研究する際、科学者は通常、シャーレや生態水槽のような小規模で制御された環境から着手し、そこで条件を変更しながら影響を観察します。ロボット工学の分野でも、同様の探求を可能にする環境が求められています。すなわち、研究者が訓練データやモデル設計を変更し、テストを繰り返し、失敗の原因を追究できるような環境です。
本日、私たちはこのような環境を構築するためのフレームワーク「FoundationWorlds(基礎世界)」をリリースします。各 FoundationWorld は、特定の環境下でロボットを研究することを目的とした制御されたシミュレーション環境と、タスクおよび訓練用デモンストレーションを自動生成するツール、そして長期的にロボットの挙動を測定するための評価指標を組み合わせています。これらが一体となることで、訓練データの増加に伴ってモデルがどのように向上するか、あるいは高レベルな推論と精密な物理制御をどのように最適に融合させるかといった課題を探求するための研究環境が提供されます。
私たちの最初の FoundationWorld は ToyBlocks です。これはロボットアームと卓上の積み木を中心に構築されたオープンソースのシミュレーションフレームワークです。このシーンは意図的にシンプルに保たれていますが、それでもロボットは積み木同士の相互作用や、押す・裏返す・積み重ねる際にそれらをどのように配置すべきかについて推論しなければなりません。
ToyBlocks は、時間のかかる人手による遠隔操作(テレオペレーション:人間がロボットをリモートコントロールする操作)を必要とせず、デモンストレーションデータ(シミュレーション内でロボットがタスクを完了した記録)を自動生成できます。研究者はこうした訓練データを容易に調整できます。例えば、押す動作や裏返す動作のデモンストレーションを増やして生成し、訓練に含まれていないタスクに対する性能を評価することが可能です。
ToyBlocks を最初の FoundationWorld として位置づけ、私たちはこのアプローチをさらに複雑な環境へと段階的に拡張していくことを目指しています。
ToyBlocks の仕組み
オープンなロボット学習分野における私たちのこれまでの取り組み(MolmoAct 2、MolmoBot、MolmoSpaces など)を基盤として、ToyBlocks は意図的に制約を設けたドメイン内でロボット工学の課題を探究する手段を研究者に提供します。
FoundationWorld の一つとして、ToyBlocks は次の4つの要件に基づいて設計されています。(1) リアルな物理特性と外観、(2) タスクとデモンストレーションの大規模な自動生成、(3) 推論と器用さを組み合わせた課題、(4) 特定ドメイン内で起こり得るタスクの広範なカバー率。
オープンドメインでは多種多様な物体や相互作用をモデル化する必要があるため、これらすべての要件を同時に満たすことは現実的ではありません。それに対し、ToyBlocks では対象範囲を絞り込むことで、これらすべての要件を完全に満たすことを可能にしています。
ToyBlocks のコンパクトなシーンにおいて、研究者はシミュレーション上のロボットアームや積み木の挙動が実機と高度に一致しているという確信を持ちながら、ロボットがあらゆる妥当なタスクの実行をどのように学習するかを追究することに専念できます。
ToyBlocks のセットアップにおける木製ブロック上方の実機ロボットグリッパー。
ToyBlocks は単なる把持や

