2026年10月13日
Kanishka Rao、プリンシパルソフトウェアエンジニア

Gemini 4 Argon は、物理的理解、コード生成、および視覚的セマンティック推論における飛躍的な進歩を示しています。これにより、ロボティクス技術スタック全体に新たなワークフローが解放され、フィジカルAGI(身体性を持つ汎用人工知能)への到達を加速させます。
Embodied Reasoning(ERQA)ベンチマークにおいて、その能力の飛躍を確認できます。このベンチマークは、3D環境における物理空間の問題を理解・解決するモデルの能力を評価するために設計されています。純粋な推論のみで、Argon は 87% のスコアを達成し、他のすべての最先端モデルを凌駕しました。

汎用的な物理推論モデルとして、Argon はロボットのライフサイクル全体に適用可能です。本記事では、4つの主要領域における Argon の代表的なプロンプトを紹介します。
- ロボット制御 → MuJoCo シミュレーションでのリハーサルを組み合わせたモバイルマニピュレーション、ゼロショット(zero-shot)ロボット制御、および動画世界モデルに対するクローズドループガイダンス。
- Real2Sim(現実からシミュレーションへ)→ ロボットのカメラ入力、一人称視点(エゴセントリック)の人間の動画、または手描きの紙のスケッチから、物理的にキャリブレーションされたシミュレーションツインを再構築。
- 物理的理解 → 巧緻なマニピュレーションの詳細な理解、密な価値関数(dense value functions)、進捗推定など、エージェントによるマルチモーダルなハインドサイトラベリング(hindsight labeling)。
- 研究と自己反復 → シミュレーションを通じたアクションの改善、および実機ハードウェア上での反復的な自己最適化。
Argon によるロボット制御の革新
1. Spot モバイルマニピュレーション:MuJoCo リハーサルを組み合わせてゴミ箱へゴミを廃棄
Argon は、Boston Dynamics の Spot® 4足歩行ロボット(12自由度の脚部 + 6自由度のアーム)を制御し、ペダル式ゴミ箱を踏んで空き缶を捨てるという新しいスキルを学習させます。Argon はペダル式ゴミ箱の可動機構(articulated)を持つ MuJoCo デジタルツインを構築し、実際のペダルを踏んで開いたゴミ箱に缶を投げ入れる前に、シミュレーション上で動作のリハーサルを行います。
Spot モバイルマニピュレーション —— Real-to-Sim-to-Real(現実-シミュレーション-現実)によるペダル式ゴミ箱への投棄:Spot は缶を拾い上げ、手首のカメラを確認し、MuJoCo 内で3本足による三脚支持のバランスを練習し、ペダルを踏み込み、開いたゴミ箱の中央にグリッパーが位置していることを確認した上で缶を投入します。
プロンプト:
There's a Diet Coke can behind you and another on the black table on your left.Use the spot-mobile-manipulation skill to pick them up and trash them in the black foot-pedal bin.Before stepping down on the pedal, verify in the front cameras that your front-right foot target is centered on the pedal, and use a 2-agent verification swarm (foot-verifier and hand-verifier) to verify both the foot-pedal step and the 3D hand-in-bin alignment before releasing.2. ゼロショット制御
Argon はシンプルなロボットアームを制御して、倒れたマグカップを起こし、丸めたナプキンをその中に入れます。Argon は視覚的な座標ワイヤーフレームとアクションプリミティブ(action primitives)を活用して推論を行い、マルチターンの対話を通じてこのタスクを完遂します。
左図:実機ロボットの三人称視点。右図:キャリブレーション済みの手首カメラのビュー(投影された 2 cm ワールド座標グリッドとグリッパーの把持中心レティクル付き)。
プロンプト:
[Attached: wrist_cam.png, obs.json]
Task: Get the robot arm to reorient the mug upright and put the napkin inside the mug.
## Execution Discipline- Simply output 1 sentence observation followed immediately by your `curl` command (with `# Plan:` on Turn 1 and `# Thought:` on every turn). Everything needed is in `obs.json` and the calibrated reticle/grid drawn on `wrist_cam.png`.
## Visual Coordinate Reference (Annotated on wrist_cam.png)- `+X` (UP in image): Away from robot base | `-X` (DOWN): Towards robot base- `+Y` (LEFT in image): World left | `-Y` (RIGHT): World right- `+Z`: Height above table | `Yellow numbers`: World (X, Y) in centimetres (2 cm grid at `grid_z`)- `Cyan + crosshair`: Current 3D pinch center- `Cyan [ + ] brackets`: Current jaw opening and closing line- `Green line`: Current object long-axis orientation (`yaw_deg`: 0° = vertical along +X, 90° = horizontal along +Y)- `pitch_deg = 90°`: Straight down (-Z) top-down grasp/place; `pitch_deg < 60°`: Tilted coaxial approach along finger axis
## Closed-Loop Turn Workflow1. Inspect current state & view `wrist_cam.png`: `curl -s http://127.0.0.1:8081/obs` (returns `ee_pos`, `holding`, `status`, `workspace`, `wrist_cam_path`).2. Select VLM call granularity upfront on Turn 1: - Coarse (2–4 calls): `look_at` -> `grasp` -> `place` -> `done` - Pre-Grasp Hover Verify (4–7 calls): `look_at` -> `goto(z=0.04)` (verify cyan `[ + ]` brackets straddle target) -> `grasp` -> `place_until_contact` -> `done` - Fine Visual Servoing (8–20 calls): `look_at` -> `grasp` -> pre-pose `goto` -> closed-loop `move_by` / `move_until_contact` -> `done`3. Send motion primitives (`POST /plan`) and verify visually after every turn in the updated `wrist_cam.png`. If `status == "grasp_failed"`, call `robot.look_at(...)` to re-observe and recover closed-loop.
## Code-as-Policies Primitives (`POST http://127.0.0.1:8081/plan`)robot.look_at(x=0.35, y=0.13, z=0.14, grid_z=0.015)x, y = robot.deproject(u=0.52, v=0.48, z_plane=0.015)robot.grasp(x=x, y=y, z=0.015, yaw_deg=-35, pitch_deg=90)robot.place(x=0.24, y=0.06, z=0.075)robot.place_until_contact(x=0.24, y=0.06, z=0.015, max_lag=0.012, relief=0.002)robot.goto(x=0.28, y=0.05, z=0.04, arc_z=0.14, pitch_deg=25, azimuth_deg=90, roll_deg=0, speed=0.10)robot.move_by(forward=0.025, dz=-0.002, dpitch_deg=-3, droll_deg=5, speed=0.04)robot.move_until_contact(dz=-0.06, speed=0.03, max_lag=0.012, relief=0.002)robot.open_gripper() / robot.close_gripper() / robot.home() / robot.done()3. Omni 制御
Argon は Gemini Omni 世界モデル内でロボットを誘導し、散らばった5つのスクラブルタイル(G, R, A, N, O)を1列にきれいに並べ替えて A - R - G - O - N と綴らせます。Argon は単一の静的なプロンプトを指定するのではなく、視覚的なクローズドループで誘導・制御を行います。タイムスタンプ付きのアクションプロンプトを作成し、途中のロールアウト(rollout)キーフレームを検証しながら進めます