エラスティックGPU、サンドボックスの成長、そしてAgentクラウドの経済学

Latent.Space
10月22日 · 86分
AIエンジニアリング領域におけるフォワードデプロイ(Forward Deployed)分野の新たな共同ホストとして、Basil Chatha を温かくお迎えします!彼と共に間もなく新番組をスタートする予定ですが、Modal が大型のシリーズD資金調達を完了したばかりのこの絶好のタイミングで、CEO の Erik へのインタビューを見逃すわけにはいきません!
2年前、私たちは Erik Bernhardsson とじっくり語り合い、真のサーバーレス(Serverless)AIインフラに対する彼のビジョンについて話を聞きました。それは、開発者がクラスターの事前プロビジョニングや負荷予測を行うことなく、またアイドル状態のリソースに料金を支払うこともなくコードを実行できるべきだというものでした。その後、CTOの Akshat もポッドキャストに出演し、こうした基本プリミティブやAgent体験を提供するために Modal が構築した基盤インフラのプリミティブと技術スタックについて共有してくれました。
過去5か月間で、状況は一変しました。評価額50億ドルでのシリーズCに続き、Modal は現在、年換算ランレート(ARR)が10億ドルを突破したことを発表し、評価額160億ドルで7億5,000万ドルのシリーズD調達を完了、累計で30億近くのサンドボックス(sandboxes)を作成してきました。今回の対談では、Erik が Vibhu と共に、この成長の背後にあるインフラと経済的論理、そしてなぜコンピュート需要がそれを購入するための契約形態と滅多に一致しないのかについて掘り下げています。
GPU需要は「矩形(長方形)」ではない
一般的なコンピュートキャパシティの契約では、一定期間にわたって固定された数のGPUが顧客に提供されます。キャパシティと時間をグラフにプロットすると、矩形(長方形)になります。しかし、実際のワークロードはまったく異なります。一日を通じて増加したり、スパイクしたり、落ち込んだりします。ピーク需要に合わせて調達すれば、アイドル状態のハードウェアにコストを払い続けることになり、調達量が少なすぎれば需要に応えられないリスクに直面します。
Erik は Modal のコアとなる賭けを「期間変換(duration transformation)」と表現しています。これは、何千もの顧客の需要を1つのプールに集約し、基盤側でキャパシティを確保した上で、各顧客が必要なときにオンデマンドで利用できるようにする仕組みです。全体の需要が平準化されるほど、このリソースプールの価値は高まります。これは、SF Compute の Evan Conrad との対談と見事な補完関係にあります。Evan がコンピュートの取引可能性(トレード可能にすること)に注力しているのに対し、Erik はそれをより細かく、より柔軟な断片に分割して利用可能にすることに注力しています。
しかし、その裏返しとして財務リスクが存在します。プロバイダーが現在の価格でキャパシティをコミットした後にGPU価格が下落した場合、高コストな供給負担を抱え込むリスクがあるのです。Erik は価格がすぐに暴落することはないと考えているものの、ビジネスモデルを構築する上ではこのリスクを考慮しなければならないと語っています。GPU価格に関するディスカッションへジャンプ →
破棄寸前だったサンドボックス
Modal がサンドボックス機能を立ち上げたのは、言語モデルがコードを書けるようになり、そのコードを実行するための環境が求められるようになることに Erik と共同創業者の Akshat Bubna が気づいたためでした。初期の導入状況は非常に低調で、チーム内では製品の終了すら議論されていました。しかし、コーディングAgent(coding agents)、バックグラウンドAgent(background agents)、そして強化学習(reinforcement learning)が新たな需要を生み出しました。Erik によると、現在サンドボックス事業は Modal の収益の約3分の1を占めるまでに成長しており、これはローンチ時にはまったく予想していなかった結果だといいます。
この成長は、インフラが担う役割をも変えました。Agent は環境を作成し、コードを実行し、結果を検証し、これを何度も繰り返すことがあります。そのため、環境の起動や復元にかかるレイテンシそのものが、体験全体の一部となるのです。最近の Akshat へのインタビューでは、「開発者体験(developer experience)」から「Agent体験(agent experience)」へのシフトについて掘り下げましたが、今回の対談では Erik がその背景にあるプロダクトとビジネスの視点を補足しています。サンドボックスに関するディスカッションへジャンプ →
高速起動はインフラの機能である
コンピュートキャパシティが十分な速さで準備できて初めて、エラスティシティ(弾力性)は意味を持ちます。Modal によるサーバーレスGPUに関する技術記事では、その基盤メカニズムが詳細に解説されています。利用可能なGPUバッファプール、カスタムファイルシステム、プロセスのチェックポインティング(checkpointing)、そしてGPUメモリのスナップショット(memory snapshots)です。これらの技術要素によって、新しいモデルレプリカを立ち上げるために必要な処理が削減されます。これは、インフラレイヤーでの意思決定がアプリケーションの応答性とコストにどれほど直結するかを示す、わかりやすい好例です。
私たちはさらに、Spotifyのレコメンデーションシステムから Modal の創業に至る Erik の歩み、同社のコンピュート調達戦略、NVIDIAの代替候補、フォワードデプロイエンジニア(forward-deployed engineers)、そしてなぜ Modal 社内ではコードレビュー(code review)が任意とされているのかについても議論しました。エンジニアリング文化のパートへジャンプ →
番組のリファレンス
-
Modal — Erik が立ち上げたAIインフラプラットフォーム。
-
Erik の個人ブログ — インフラ、マーケット、企業構築に関する彼の執筆記事。
-
Modal のシリーズD資金調達の発表 — 同社が発表した最新の成長実績とサンドボックスのマイルストーン。
-
Modal が真のサーバーレスGPUを実現する方法 — エラスティックな推論を支える起動とスケーリングの技術。
-
Modal のリソースソルバー — リソースの選択とスケジューリングの仕組み。