GPU 取引から現物決済、独立したマーケットプレイス、そしてプログラマブルなコンピュートまで

Latent.Space
10月20日 · 37分
今回のエピソードは、AIE NYC の新設セッション「Compute Trading トラック」の期間中に収録されました。世界中のトップ AI Agent エンジニア向けに開催される次回のフラッグシップイベント、AIE CODE でもお会いできるのを楽しみにしています。
クラウドコンピューティングの黎明期、以前当番組にも出演した Martin Casado は、シスコが強い危機感を抱いて 6 億ドルでの買収を提示し、最終的に VMware が 13 億ドルで競り落としたほどの破壊的技術を生み出しました。
その概念こそが**ソフトウェア定義ネットワーク(Software-Defined Networking、SDN)**であり、コントロールプレーン(control plane)とデータプレーン(data plane)を切り離すことで、ルーティングネットワークの仮想化を実現しました。そして今、同様の革命が GPU の領域でも起ころうとしています。これまで、自前のスパコンクラスタを構築するには 5,000 万ドルから 1 億ドルもの事前コミットメントが必要で、ハードウェアやファームウェアからカーネルに至るスタック全体を一気通貫で構築・運用しなければなりませんでした。しかし現在、SF Compute は現在および将来の GPU マシンタイムの売買を可能にするだけでなく、ネットワークからメモリに至るすべてのリソースをプログラムから制御できるようにしています。
前回 Evan と対談した際は、コンピュートのコモディティ化(commoditizing compute)について語り合いました。今回の AI Engineer NYC ではさらに踏み込み、GPU 契約を物理的に履行(現物決済)するには何が必要なのか、そしてコンピュート市場に流動性が生まれるための前提条件とは何かについて議論を深めました。
客室の貸し出しからホテルの運営へ
Evan は、SF Compute の事業拡大の道のりをホテルのメタファーを使って説明しています。顧客は最初、1 つの部屋を借りたいと求めます。しかしそのうち、清掃やルームサービス、セキュリティも求めるようになります。そして最終的には、その部屋を提供するだけでもホテル全体を自ら運営しなければならないことに気づくのです。SF Compute も当初はクラスタのサブリース(転貸)から始めましたが、自社のマーケットプレイスで取引されるコンピュートを確実に届けるため、現在ではクラウドプロバイダーに匹敵するフルスタックの運用能力を整えるに至りました。
この取り組みこそが「現物決済(physical settlement)」です。買い手が手にするのは、インデックスに連動した単なる差金決済ではなく、実際に稼働するコンピュートそのものです。これにより、クラスタが持つ物理的な制約が市場取引に直接持ち込まれることになります。ワークロードは中断(プリエンプション)が許容されるのか? ストレージからのリカバリ速度はどれくらいか? どの世代の GPU、どのようなネットワーク構成、どんなソフトウェア環境が必要なのか? こうした細かな要素が、契約内容や価格設定を直接左右することになります。
コンピュートを取引可能なアセットにする
SF Compute は、すべての GPU クラスタが完全に均質化・標準化されるのを待つのではなく、異なる制約条件を持つ注文同士をマッチングさせる道を選びました。Evan 曰く、このアプローチによって技術が急速に進化し続ける中でも取引を成立させることができる一方、流動性がより細かな仕様やカテゴリごとに分散してしまうというトレードオフが生じます。対談ではさらに、スポット価格と先渡価格の違い、バッチ処理とリアルタイム推論の違い、そしてインデックス価格が実際のコンピュート調達コストと乖離してしまう理由についても掘り下げました。
Evan が専門のマーケットプレイス運営者の必要性を説く上で、最大の論点としているのが「独立性(インディペンデンス)」です。大規模なハードウェア資産や自前の推論ビジネスを抱えている企業は、自社の利害関係が働くため、完全に中立な取引所を運営することは極めて困難です。また、データセンターの現地視察、クラスタの設計、バックプレーン(backplane)の運用、インフラのプログラマブル化といった、あまり表に出ないものの極めて重要なエンジニアリングの裏側についても話が及びました。インタビューの終盤では、InfiniBand の相互接続ファブリックを動的にパーティショニングする同社の技術を具体例として挙げて解説しています。
ゲスト: Evan Conrad、SF Compute CEO。
ハイライト
タイムスタンプ
-
0:00 — なぜ NVIDIA はこれを手掛けられないのか?
-
0:25 — Latent Space へようこそ
-
2:23 — 客室の貸し出しからホテルの運営へ
-
3:47 — 現物決済:実際にコンピュートを引き渡すということ
-
6:00 — 流動性と GPU オーダーブック
-
8:42 — 非標準化されたコンピュートを取引する
-
10:00 — ワークロードの中断とマイグレーション
-
12:20 — ハードウェアの世代(cohorts)が重要な理由
-
14:32 — コンピュート契約は最長どれくらいの期間結べるか?
-
16:19 — バッチ処理 vs リアルタイム推論のリース
-
17:58 — コンピュートの形態とは…