Latent Space:AI 工程师播客
为什么 AI 算力呈现为矩形——Modal 首席执行官 Erik Bernhardsson
为什么 AI 算力呈现为矩形——Modal 首席执行官 Erik Bernhardsson
弹性 GPU、沙箱增长,以及智能体云(Agent Cloud)的经济学
逐字稿
热烈欢迎来自 AI 工程界 Forward Deployed 领域的最新联合主持人 Basil Chatha!我们将与他一起推出一档新节目,并且借着 Modal 刚完成巨额 D 轮融资的契机,我们绝不能错过对 Modal 首席执行官 Erik 的专访!
两年前,我们与 Erik Bernhardsson 探讨过他对真正无服务器(Serverless)AI 基础设施的愿景:开发者应该无需预配集群、无需预测负载、也无需为闲置资源买单即可运行代码。随后,首席技术官 Akshat 也加入了我们的对话,讨论了 Modal 为提供这些原语及智能体体验所构建的基础设施原语和技术栈。
在过去的 5 个月里发生了翻天覆地的变化。自 50 亿美元估值的 C 轮融资以来,Modal 宣布其年化经常性收入(ARR)已突破 10 亿美元,以 160 亿美元估值完成了 7.5 亿美元的 D 轮融资,并已创建了近 30 亿个沙箱。在本次对话中,Erik 与 Vibhu 一同深入探讨了这种增长背后的基础设施与经济学原理——以及为什么对算力的实际需求很少会呈现为采购合同中的形态。
GPU 需求并非矩形
一份典型的容量合同通常会在固定期限内为客户提供固定数量的 GPU。如果将容量与时间绘制成图表,你会得到一个矩形。但实际的工作负载却截然不同:它们在一天当中会持续增长、出现峰值并随后回落。如果按峰值购买足够的算力,你就要为闲置硬件买单;如果少买,你又面临无法满足需求的风险。
Erik 将 Modal 的破局点描述为一种期限转换(Duration Transformation):汇聚数千家客户的需求,在底层锁定容量,并让每位客户在需要时按需使用。聚合需求越平滑,这个资源池的效用就越高。这可以作为我们与 SF Compute 的 Evan Conrad 对话的绝佳补充:Evan 专注于让算力变得可交易;而 Erik 则专注于将其切分为更小、更具弹性的切片以供使用。
但硬币的另一面是财务风险。如果供应商以当前价格锁定了容量,而随后 GPU 价格下跌,它可能就会积压高成本的供应。Erik 表示,虽然他并不认为崩盘迫在眉睫,但在构建业务时必须考虑这种可能性。跳转到 GPU 价格讨论 →
险些胎死腹中的沙箱产品
在 Erik 与联合创始人 Akshat Bubna 发现语言模型可以生成代码,且必然需要一个运行代码的场所之后,Modal 推出了沙箱(Sandbox)产品。最初的用户采用率相当平淡,团队甚至讨论过关停该产品。随后,编程智能体(Coding Agents)、后台智能体和强化学习带来了全新的需求。Erik 表示,沙箱如今已贡献了 Modal 约三分之一的收入,这一结果他在发布之初完全没有预料到。
这一增长也改变了基础设施所需承担的任务。一个智能体可能会创建环境、运行代码、检查结果,并反复尝试多次。启动和恢复这些环境的延迟因而直接成为了体验的一部分。在我们最近对 Akshat 的采访中,我们探讨了这种从“开发者体验”到“智能体体验”的转变;在此,Erik 则补充了相关的产品与商业背景。跳转到沙箱讨论 →
快速启动是一项基础设施特性
弹性唯有在容量能够以足够快的速度就位时才有意义。Modal 关于无服务器 GPU 的文章详细阐述了其底层机制:可用 GPU 缓冲池、定制文件系统、进程检查点(Process Checkpointing)以及 GPU 显存快照。这些技术组件减少了让新的模型副本上线所需的工作量。这是一个直观展示基础设施决策如何直接影响应用程序响应速度与成本的典型范例。
我们还探讨了 Erik 从 Spotify 推荐系统到创办 Modal 的历程、公司的算力采购策略、NVIDIA 的替代方案、前线部署工程师(Forward-Deployed Engineers),以及为什么在 Modal 代码审查(Code Review)是可选的。跳转到工程文化讨论 →
节目笔记
-
Modal —— Erik 创立的 AI 基础设施平台。
-
Erik 的博客 —— 他关于基础设施、市场以及创业的文章。
-
Modal 的 D 轮融资公告 —— 公司最新公布的增长数据与沙箱里程碑。
-
Modal 如何实现真正无服务器的 GPU —— 弹性推理背后的启动与扩缩容技术。
-
Modal 的资源求解器 —— 它是如何在动态的价格与可用性之间选择最佳容量配置的。
-
扩展至一百万个并发沙箱 —— 关于沙箱扩缩容的工程技术解读。
-
我们对 Erik 的首次专访 —— 最初关于无服务器基础设施的论点。
-
我们对 Akshat Bubna 的专访 —— 面向智能体时代的基础设施与开发者体验。
-
可编程数据中心 —— Evan Conrad 论 GPU 交易与物理交割。


