Latent Space: AIエンジニア向けポッドキャスト
なぜAIコンピュートは矩形なのか——Modal CEO Erik Bernhardsson
なぜAIコンピュートは矩形なのか——Modal CEO Erik Bernhardsson
エラスティックGPU、サンドボックスの急成長、そしてエージェントクラウド(Agent Cloud)の経済学
文字起こし
AIエンジニアリング界隈の Forward Deployed から、新たな共同ホストである Basil Chatha を迎えました!彼とともに新しい番組をスタートし、さらにModalが大型のシリーズD調達を完了したばかりのこの絶好のタイミングで、同社CEOのErikへの独占インタビューをお届けします!
2年前、私たちはErik Bernhardssonと、真のサーバーレスAIインフラに対する彼のビジョンについて語り合いました。それは、開発者がクラスタのプロビジョニングや負荷予測をすることなく、アイドル状態のリソースにコストを払うこともなくコードを実行できる世界です。その後、CTOのAkshatも対談に加わり、こうしたプリミティブやエージェント体験を提供するためにModalが構築したインフラプリミティブと技術スタックについて議論しました。
それからわずか5か月の間に、目覚ましい進展がありました。評価額50億ドルでのシリーズC調達以降、ModalはARR(年換算経常収益)が10億ドルを突破したと発表し、評価額160億ドルで7億5,000万ドルのシリーズD調達を完了、これまでに作成されたサンドボックスは30億件近くに達しています。今回の対談では、ErikとVibhuがこの急成長の裏にあるインフラと経済原理、そして計算リソースへの実際の需要が、調達契約で見られるような形とは大きく乖離している理由について深く掘り下げます。
GPU需要は矩形ではない
一般的なキャパシティ契約では、一定期間にわたって固定数のGPUが顧客に割り当てられます。キャパシティと時間をグラフにプロットすると、綺麗な「矩形(長方形)」になります。しかし、実際のワークロードはまったく異なります。1日を通じて絶えず変動し、ピークを迎え、そして減衰します。ピークに合わせて十分なキャパシティを契約すればアイドル状態のハードウェアにコストを払い続けることになり、控えめに購入すれば需要を満たせないリスクを抱えることになります。
ErikはModalのアプローチを一種の「期間変換(Duration Transformation)」と表現しています。数千社に及ぶ顧客の需要を集約し、バックエンドでキャパシティを確保した上で、各顧客が必要なときに必要な分だけ利用できるようにする仕組みです。集約された需要が平滑化されればされるほど、このリソースプールの効率は高まります。これは、SF ComputeのEvan Conradとの対談を補完する好例と言えます。Evanがコンピュートの「取引可能性」に注力しているのに対し、Erikはそれをより小さく柔軟なスライスに細分化して利用できるようにすることに焦点を当てています。
しかし、その裏返しとして財務リスクも伴います。もしプロバイダーが現在の価格でキャパシティを長期間ロックし、その後にGPU価格が下落した場合、高コストな供給在庫を抱え込むことになりかねません。Erikは価格の急落が差し迫っているとは考えていないものの、ビジネスを構築する上ではそのリスクを織り込んでおく必要があると述べています。GPU価格に関する議論へスキップ →
危うくお蔵入りになりかけたサンドボックス機能
Erikと共同創業者Akshat Bubnaが、言語モデルがコードを生成できるようになり、それを安全に実行する環境が不可欠になると気づいたことをきっかけに、Modalはサンドボックス(Sandbox)機能をローンチしました。当初の利用率は極めて低調で、チーム内では機能の提供終了すら議論されていました。しかしその後、コーディングエージェント、バックグラウンドエージェント、強化学習の登場によって全く新しい需要が一気に爆発しました。現在、サンドボックスはModalの売上の約3分の1を占めるまでに成長しており、Erik自身もローンチ当初にはまったく予想していなかったと語っています。
この急成長は、インフラが担うべき役割をも一変させました。エージェントは環境を作成し、コードを実行し、結果を確認して、それを何度も試行錯誤しながら繰り返します。そのため、これらの環境を起動・復元するレイテンシが、そのままユーザー体験に直結するようになったのです。最近のAkshatへのインタビューでは、「開発者体験(DX)」から「エージェント体験(AX)」へのパラダイムシフトについて掘り下げましたが、今回の対談でErikは、その背景にあるプロダクトとビジネスの文脈を補足しています。サンドボックスに関する議論へスキップ →
高速起動はインフラの機能である
弾力的なスケーリング(エラスティシティ)は、キャパシティが十分に素早く立ち上がって初めて価値を発揮します。ModalのサーバーレスGPUに関するブログ記事では、その裏側にあるメカニズムが詳細に解説されています。利用可能なGPUのバッファプール、カスタムファイルシステム、プロセスチェックポインティング(Process Checkpointing)、そしてGPUメモリのスナップショットです。これらの技術コンポーネントが、新しいモデルレプリカを立ち上げるためのオーバーヘッドを徹底的に削減します。インフラのアーキテクチャ設計が、アプリケーションの応答速度とコストにどれほど直接的な影響を与えるかを示す格好の事例です。
さらに、Spotifyのレコメンデーションシステム開発からModal創業に至るまでのErikのキャリア、同社のコンピュート調達戦略、NVIDIAのオルタナティブ、フォワード・デプロイド・エンジニア(Forward-Deployed Engineers)、そしてなぜModalではコードレビューが任意なのかといった組織文化についても語り合いました。エンジニアリング文化に関する議論へスキップ →
ショーノート
-
Modal —— Erikが創業したAIインフラストラクチャプラットフォーム。
-
Erikのブログ —— インフラ、市場、スタートアップに関する彼の記事。
-
ModalのシリーズD調達発表 —— 同社が発表した最新の成長指標とサンドボックスのマイルストーン。
-
Modalが真のサーバーレスGPUを実現した仕組み —— エラスティックな推論を支える起動とオートスケーリングの技術。
-
Modalのリソースソルバー —— 変動する価格と可用性のなかで最適なキャパシティ構成を選択する仕組み。
-
100万の同時実行サンドボックスへのスケーリング —— サンドボックスのスケーラビリティに関する技術的解説。
-
Erikへの最初のインタビュー —— サーバーレスインフラに関する初期のテーゼ。
-
Akshat Bubnaへのインタビュー —— エージェント時代に向けたインフラと開発者体験。
-
プログラマブルなデータセンター —— Evan Conradが語るGPUトレーディングとフィジカルデリバリー。
タイムスタンプ
-
0:00 Modalの事業内容
-
1:25 SpotifyからModal創業へ
-
4:19 生成AIブーム以前の創業期
-
7:43 初期の顧客と資金調達
-
10:00 推論とオートスケーリングに特化した設計
-
13:21 ModalはどこからGPUキャパシティを調達しているのか
-
15:39 リース vs 自社インフラ構築
-
19:45 GPU価格下落の潜在的リスク
-
24:18 AI需要は無限なのか?
-
26:12 NVIDIAの代替手段
-
28:25 Modalがネオクラウド(Neoclouds)から学べること
-
30:26 アセットクラスとしてのGPU
-
31:55 Modalのコアプロダクト:関数(Functions)とサンドボックス(Sandboxes)


