遠隔操作は、本当に危うくなったのか
今年5月、NVIDIAのロボット部門責任者であるJim Fan氏は、ある公開講演で「VLAと遠隔操作は死んだ」と宣言した。
当時、ほとんどの人が最初に抱いた感想は、過激な発言に事欠かないAI業界に、また新たな極論が登場したというものだった。
ところが、それから数か月後。当時はやや大げさに聞こえたこの言葉が、実際に現実味を帯び始めている。
つい先日、自变量は新たな器用操作システム TwinDEX を発表した。ポストトレーニング段階で実機による遠隔操作データを一切使わず、化学実験の現場で、ボトルキャップをひねる、注射器で注入するといった複数の精密操作を、ロボットが連続して実行した。
これまで、ロボットにこうした精密操作を習得させるには、実機による遠隔操作データを使って「手取り足取り」教えることが欠かせなかった。
しかし今回のTwinDEXは、そのデータ需要を完全になくし、その代わりに、ロボット本体の情報をほとんど含まない数百件程度の非本体データだけを使っている。
いったい、どうやって実現したのだろうか。
遠隔操作は、本当に危うくなったのか
ことわざにもあるように、優れたデモはじっくり味わう価値がある。
今回TwinDEXが公開したデモの中で、最も完成度が高いものの一つが、一連の化学実験をワンカットで収めた映像だ。
瓶を開けてサンプルを採取するところから、スポイトと試験管の操作、ガラス棒による液体の誘導、振り混ぜて観察するところまで、すべての工程をポリシーが自律的に実行している。
実験全体には24のサブアクションが含まれ、3種類の道具をまたぎ、両手の協調や道具の持ち替えも何度も発生する。各ステップでミリメートル単位の位置決めと、安定した力制御が求められる。
細かく見ていくと、TwinDEXの3本の指は、これまで器用な操作で最も攻略が難しいとされてきた能力を、いくつか集中的に示している。
まずは、高い精度が求められる精密操作だ。
工具箱を開ける際、ロボットは左右2本の人差し指を2つの狭いラッチに同時に合わせ、正確に差し込んでから下方向に押し開く。その後、人差し指と親指で取っ手をつまみ、箱のふたを開ける。
ここで難しいのは、ロボットの手を許容誤差の小さい空間に正確に入れ、操作を完了できるかどうかだ。
注射器による注入も、同じようなタスクである。
人差し指と中指で筒を固定し、親指をプランジャーに合わせて前方へ力を加える。位置をずらさず、注入の方向と力加減を正確に制御しなければならない。
身体性を備えた知能が研究室や工場、家庭へと徐々に進出するにつれて、このような許容誤差の小さい、高精度で接触の強い操作は、ロボットにとってますます基本的な能力になっていくだろう。
2つ目は、3本指の協調だ。
たとえば、ほうきとちり取りを使うタスクでは、3本の指が柄を包み込むように配置され、それぞれの指が支えと制御を分担する。
指が2本しかない場合と比べて、3本目の指は接触点を1つ増やし、物体を安定させる新たな方法を提供する。
特に、道具の使用や細長い物体の把持といったタスクでは、この追加の支点が非常に重要になる。
3つ目は、人間の手により近い柔軟な操作と手のひら内での調整だ。
キャップをひねって開ける際、TwinDEXは人差し指と親指でキャップをつまみ、手首を大きく回すことなく、指自体を横方向に動かして回転させている。
本をめくる場面では、まずロボットの親指が一番上のページをこすり出し、その後、つまむ、両手で受け渡す、置く、ページをめくるという一連の動作を行う。
一連のデモを見て、個人的に最も強く感じたのは、次の点だ。
これまでこうした動作を扱うとき、私たちは無意識に、より複雑な構造を持つ5本指の器用なハンドと、膨大な実機遠隔操作データを思い浮かべがちだった。
しかし、上のデモが示しているのはまさにこのことだ。これまで5本指が必要だと考えられていた多くの精密操作も、実際には3本の指で十分にこなせる。
しかも、ある意味では、この3本の指は多くの5本指ハンドよりも器用に動いている。
ただし、ここまでの話は、TwinDEXが表舞台で見せている、ロボットのアクチュエータとしての側面にすぎない。
ロボットが実際に作業を始める前には、もう一つの顔がある。それは、実行側と整合するウェアラブルな非本体データ収集システムだ。
データ収集段階とロボット実行段階で異なるハードウェアを使う方式が多いなか、TwinDEXは収集側と実行側を同型にする設計を直接採用している。
率直に言えば、この3本の指は作業を行うだけでなく、データ収集にも同じ構造が使われている。いわゆる**「収集したものが、そのまま実行される」**という考え方だ。
収集側でオペレーターが行った動作は、実行側のロボットへより直接的にマッピングできる。間にまったく異なるハードウェアを挟み、複雑なデータ変換を行う必要がない。
だからこそ、指先の位置や力に極めて高い精度が求められる先ほどの精密操作も、ロボットがより安定して実行できる。
同時に、重量のあるロボットを直接遠隔操作する場合と比べ、オペレーターはより自然かつ素早く動作できる。データも収集しやすく、コストも低い。
実験結果は、この2点を実際に裏付けている。
収集効率の面では、TwinDEXが単位時間あたりに生成できる有効な軌跡は、従来の実機遠隔操作の約5.3倍に達した。
同じオペレーターが同じ時間作業した場合でも、TwinDEXならトレーニングに本当に使えるデータを、より短時間で蓄積できる。
データ利用効率については、自变量は次のことを発見している。
データ量が増えるにつれて、非本体データと実機遠隔操作データでトレーニングしたポリシーは、同じ速度で継続的に性能を向上させ、最終的にはほぼ同等の性能に収束する。
言い換えれば、この実験では、モデルのトレーニングにおいて、非本体データで実機遠隔操作データをほぼ100％代替できたことになる。
つまり、データ収集システムとしてのTwinDEXが解決したのは、単に「より速くデータを収集する方法」だけではない。
より重要なのは、収集効率を高めながら、そのデータを実際にロボットへ移行する際の精度低下も、可能な限り抑えている点だ。
そして、この2つは最終的に、同じ問いへとつながっている。
非本体データを、ロボットが実際に利用できるデータへ変えるにはどうすればよいのか。
TwinDEX：身体性データをあらかじめ整合させる
厳密に言えば、TwinDEXは単なる3本指の器用なハンドではない。
むしろ、データ収集ハードウェア、ロボットのエンドエフェクタ、データ処理パイプライン、モデルのトレーニングプロセスから構成される、一つの器用操作システムに近い。
また、データ収集側とロボット実行側の見た目を同じにするだけで、自然にデータ移行が完了するわけでもない。
TwinDEXの本当の要点は、ポストトレーニングを非本体データだけで完了し、実機遠隔操作データをなくすという目標から出発し、そこからシステム全体を逆算して設計したことにある。
器用なハンドの構成、収集デバイスの動かし方、視覚観測、時間同期、データ処理、最終的なモデルのトレーニングに至るまで、すべてが実際には一つの問いを中心に設計されている。
収集したデータを、最初からロボットが本当に必要とするデータにどこまで近づけられるか。
この点を理解したうえで、TwinDEXの最も分かりやすいハードウェア部分を見ていこう。
実際のデモにおける役割分担を見ると、親指と人差し指が対向把持、つまみ、回転、精密操作の多くを担い、3本目の指が包み込み、支持、安定化をさらに補っている。
TwinDEX全体の設計は、器用さ、一貫性、拡張性という3つの特徴にまとめられる。
1つ目は、ここまで何度も登場してきた器用さだ。
TwinDEXは、UMIのような一般的な2指グリッパーを選ばなかった。一方で、人間の手に倣って5本指まで増やすこともしなかった。代わりに、器用さ、安定性、エンジニアリング上の複雑さのバランスを取った。
一般に、指の本数が多く、人間の手に近い構造になるほど、理論上の器用な操作能力の上限は高くなる。
しかし同時に、関節やアクチュエータ、センサーも増え、それに伴ってキャリブレーション、制御、保守のコストも増加する。
逆に、2指グリッパーは十分にシンプルだが、回転、手のひら内での調整、多点接触といった精密操作をカバーするのは難しい。
そこで、基本的な把持、同じ場所での回転、道具の使用、手のひら内操作などのプリミティブ操作をテストし、複数の候補構成と比較した結果、自变量は次のように結論づけた。
現時点でのスイートスポットは、3本指・9自由度である。比較的制御しやすい複雑さで、現在の大半のタスクが本当に必要とする器用な能力をカバーできる。
2つ目は、TwinDEXにおける最も重要な設計思想でもある一貫性だ。
ここでいう一貫性とは、TwinDEXのデータ収集側と最終的な実行側が、動かし方、接触の仕方、視覚観測、収集精度、時間同期などの面で、可能な限り一致していることを指す。
これこそが、TwinDEXが実機遠隔操作データの需要を減らせる鍵である。
これまで、多くの非本体データは収集しやすい一方で、実際にロボットへ移行する段階になると、ある問題に直面していた。収集側と実行側が同じ身体ではないのだ。
人間の手がどのように動き、収集デバイスがそれをどう記録しても、実際のロボット上で同じ動作をそのまま再現できるとは限らない。通常、そこには運動学的な差異と精度の低下が存在する。
そのため、こうしたデータは容易にスケールできても、対象ロボットのトレーニングにそのまま使うのは難しい。多くの場合、最終的には実機遠隔操作データを追加で収集し、身体性の整合とポストトレーニングを行う必要があった。
TwinDEXの一貫性設計が解決しようとしているのは、まさにこの部分だ。
データを収集し終えてからロボットに適合させる方法を考えるのではなく、ハードウェアの設計段階から、収集側と実行側を可能な限り同型にしている。
言い換えれば、これまでデータ処理段階で行っていた「身体性の整合」を、データが生成される前の段階へ前倒ししたのだ。
これにより、非本体データをロボットへ移行する際の損失を可能な限り抑え、実機遠隔操作データを追加で収集する必要性も減らせる。
だからこそ、今回の実験で対象となったタスクでは、TwinDEXは対象ロボットによる実機遠隔操作のデモを新たに追加することなく、数百件の非本体データだけでポストトレーニングを完了し、先ほどのような精密操作を実現できた。
3つ目の特徴は、拡張性だ。
TwinDEXのデータ収集側は、ウェアラブルな3指外骨格デバイスになっている。
最大の利点は、データ収集のために実際のロボットを1台占有する必要がなく、固定された作業場所に縛られることもない点だ。
オペレーターはデバイスを装着するだけで、回転、押下、道具の使用といった動作を直接行える。
コントローラー越しにロボットを遠隔操作する場合と比べて、この方式は人間の自然な操作にも近い。手で対象物に直接触れ、実際の力覚フィードバックを得られるため、空間マッピングや通信遅延に慣れる必要もない。
さらに重要なのは、データ収集がロボットの台数と1対1で結びつかなくなることだ。複数のオペレーターが異なる場所で同時にデータを収集し、それを一つの処理・トレーニングパイプラインに統合できる。
収集中、システムは視覚情報、関節状態、手首の姿勢などのマルチモーダル情報を同期して記録する。その後、キャリブレーション、時間同期、標準化処理を通じて、異なるオペレーターや異なる場所から集めたデータを、統一されたトレーニング空間に整理する。
ただし、規模を拡大すると、新たな問題も生じる。
異なるデバイスや異なるオペレーターによる収集では、避けられない揺れ、ドリフト、位置決め誤差が発生する。
そのため、自变量はモデルアーキテクチャとトレーニングプロセスにも対応する設計を取り入れ、モデルが一定範囲の収集誤差を許容し、最終的にこれらのデータからロボットが閉ループで実行できるポリシーを学習できるようにしている。
ここまで見てくると、TwinDEXの3つの設計ロジックも明確になる。
器用さは、何を収集し、何を実行できるかを決める。一貫性は、収集した非本体データをロボットへスムーズに移行できるかどうかを決める。そして拡張性は、この収集方式を実際にスケールできるかどうかを決める。
データピラミッドの頂点が平らになりつつある
TwinDEXが本当に注目に値するのは、「データをより速く収集できる」という点だけではない。さらに一歩進んで、次のことを実証したからだ。ロボットの動作に最も近い高品質なデータは、必ずしも実際のロボットだけが生成できるわけではない。
過去2年間、実機による遠隔操作データは、身体性データピラミッドの頂点に位置していた。
品質が最も高いのは、視覚情報、関節状態、エンドエフェクタの軌跡がもともと整合しているためだ。しかし、その代償も最も大きい。
データを1件収集するたびに、実際のロボットを1台占有しなければならない。
そのうえ、ロボットには導入と保守が必要で、オペレーターも遠隔操作を習得しなければならない。ロボットの台数がデータ生産能力の上限になれば、本当の意味でスケールさせるのは非常に難しくなる。
これも、Jim Fan氏が「遠隔操作は死んだ」と語った背景の一つだ。
だからこそ、この2年間、身体性知能のコミュニティ全体が、UMI、グローブ／外骨格、Ego視点など、新たなデータ収集戦略を模索してきた。
その中心にある考え方は、いずれも、よりスケールしやすい非本体データを使って、実機データへの依存を減らすことだ。
しかし、ここには常にジレンマが存在する。
収集方式の自由度が高いほど、データはスケールしやすくなる。一方で、収集側が実際のロボットから離れるほど、その後のマッピングや移行は難しくなる。
特に、人間の手とロボットでは、構造、自由度、接触の仕方が異なるため、動作のリターゲティングや精度低下が絶えず発生する。
今回TwinDEXが実現したのは、拡張性とデータに保持される物理情報の豊富さの間に、新たなスイートスポットを見つけたことだ。
ロボット本体がもたらす制約を完全に捨てるのではなく、ロボットが本当に必要とする動作構造を、データ収集側にあらかじめ「複製」した。
そのため、今回すでに示されたタスクでは、数百件の非本体データだけで、これまでポストトレーニング段階において実機遠隔操作データが担っていた整合作業の一部まで完了できた。
もちろん、客観的に見れば、身体性データのレシピがまだ収束していない現在、タスクのカバレッジやデータの多様性も考慮すると、「遠隔操作は死んだ」と直接宣言することはできない。
ただし、少なくとも一つ、ますます明確になっていることがある。
高品質データと実機遠隔操作の強い結びつきが、緩み始めている。
ポストトレーニング段階で、非本体データが実機データに近いトレーニング価値を徐々に獲得できるのであれば、次に本当に探究すべきなのは、非本体データに固有の Scaling Law だ。
ただし、非本体データの規模を拡大し、このScaling Lawを本格的に検証する前に、自变量はすでにこの時点で自らの答えを示した。
新しいタスクを一つ拡張するたびに、実機遠隔操作データから始めなければならない時代は、終わりを迎えつつある。
プロジェクトページ：https://x2robot.com/pages/twindex