弹性 GPU、沙箱增长与 Agent 云的经济学

Latent.Space
10 月 22 日 · 86 分钟
热烈欢迎 Basil Chatha,他是我们在 AI 工程领域的前线部署(Forward Deployed)方向的最新联合主持人!我们即将与他一同推出一档新节目,而借着 Modal 刚刚完成巨额 D 轮融资的契机,我们自然不能错过对其 CEO Erik 的专访!
两年前,我们曾与 Erik Bernhardsson 深入探讨他关于真正无服务器(Serverless)AI 基础设施的构想:开发者应该能够在无需预配置集群、预测负载或为空闲资源付费的情况下运行代码。CTO Akshat 随后也做客我们的播客,分享了 Modal 为提供这些基础原语和 Agent 体验所构建的底层基础设施原语与技术栈。
在过去的 5 个月里,形势发生了巨大变化。继 50 亿美元估值的 C 轮融资后,Modal 目前公布其年化运行率(ARR)已突破 10 亿美元,并以 160 亿美元估值完成了 7.5 亿美元的 D 轮融资,累计创建了近 30 亿个沙箱(sandboxes)。在这次对话中,Erik 与 Vibhu 一起探讨了这一增长背后的基础设施与经济学逻辑——以及为什么算力需求很少与购买算力的合同形式保持一致。
GPU 需求不是矩形的
一份典型的算力容量合同会在固定时间内为客户提供固定数量的 GPU。如果将容量与时间绘制成图表,你会得到一个矩形。但实际的工作负载却截然不同:它们会在全天不断增长、激增和回落。如果按峰值需求采购,就得为空闲硬件买单;如果采购量过少,又面临无法满足需求的风险。
Erik 将 Modal 的核心押注形容为一种“期限转换(duration transformation)”:将数千家客户的需求汇集到一个池中,在底层锁定容量,并让每位客户在需要时按需取用。总体需求越平滑,这个资源池的价值就越大。这与我们与 SF Compute 的 Evan Conrad 的对话形成了很好的互补:Evan 专注于让算力变得可交易;而 Erik 则专注于将其切分为更小、更具弹性的片段以供使用。
但硬币的另一面是财务风险。如果服务商按当下的价格锁定了算力容量,而随后 GPU 价格下跌,就可能砸在手里变成高昂的供给成本。Erik 表示他不认为价格会立即暴跌,但在构建商业模式时必须考虑这一风险。跳转至 GPU 价格讨论 →
险些胎死腹中的沙箱
Modal 推出沙箱功能,是因为 Erik 与联合创始人 Akshat Bubna 注意到语言模型能够编写代码——而人们将需要一个运行这些代码的环境。早期的采用率非常平淡,团队甚至讨论过关闭这个产品。然而,代码 Agent(coding agents)、后台 Agent(background agents)以及强化学习(reinforcement learning)催生了新的需求。Erik 表示,沙箱业务现已占到 Modal 收入的大约三分之一,这是他在产品发布时始料未及的结果。
这种增长也改变了基础设施所承担的角色。一个 Agent 可能会创建环境、运行代码、检查结果,并反复尝试多次。启动和恢复这些环境的延迟便成为了整体体验的一部分。在我们最近对 Akshat 的采访中,我们探讨了这种从“开发者体验(developer experience)”向“Agent 体验(agent experience)”的转变;在此,Erik 补充了背后的产品与商业视角。跳转至沙箱讨论 →
快速启动是一项基础设施特性
只有当算力容量能够以足够快的速度就位时,弹性才有意义。Modal 关于无服务器 GPU 的技术文章详细介绍了其底层机制:可用 GPU 缓冲池、定制文件系统、进程检查点(checkpointing)以及 GPU 显存快照(memory snapshots)。这些技术组件减少了启动新模型副本所需的工作量。这是一个直观的例子,展示了基础设施层面的决策如何直接体现在应用程序的响应速度与成本上。
我们还讨论了 Erik 从 Spotify 推荐系统到创办 Modal 的历程、公司的算力采购策略、NVIDIA 的替代方案、前线部署工程师(forward-deployed engineers),以及为什么 Modal 内部的代码审查(code review)是可选的。跳转至工程文化部分 →
节目参考资料
-
Modal — Erik 创立的 AI 基础设施平台。
-
Erik 的个人博客 — 他关于基础设施、市场及公司构建的文章。
-
Modal 的 D 轮融资公告 — 公司最新公布的业绩增长与沙箱里程碑。
-
Modal 如何实现真正的无服务器 GPU — 弹性推理背后的启动与扩缩容技术。
-
Modal 的资源求解器 — 其如何选择与调度资源