跳转到内容
主站 新闻 控制台

为什么 AI 算力都是矩形的?—— Modal CEO Erik Bernhardsson

· Latent Space
播客深度访谈

Image 1: Latent.Space

Image 3: Latent.Space

Latent Space:AI 工程师播客

为什么 AI 算力呈现为矩形——Modal 首席执行官 Erik Bernhardsson

为什么 AI 算力呈现为矩形——Modal 首席执行官 Erik Bernhardsson

弹性 GPU、沙箱增长,以及智能体云(Agent Cloud)的经济学

Image 4: Basil Chatha's avatar

Basil Chatha

逐字稿

热烈欢迎来自 AI 工程界 Forward Deployed 领域的最新联合主持人 Basil Chatha!我们将与他一起推出一档新节目,并且借着 Modal 刚完成巨额 D 轮融资的契机,我们绝不能错过对 Modal 首席执行官 Erik 的专访!


两年前,我们与 Erik Bernhardsson 探讨过他对真正无服务器(Serverless)AI 基础设施的愿景:开发者应该无需预配集群、无需预测负载、也无需为闲置资源买单即可运行代码。随后,首席技术官 Akshat 也加入了我们的对话,讨论了 Modal 为提供这些原语及智能体体验所构建的基础设施原语和技术栈。

在过去的 5 个月里发生了翻天覆地的变化。自 50 亿美元估值的 C 轮融资以来,Modal 宣布其年化经常性收入(ARR)已突破 10 亿美元,以 160 亿美元估值完成了 7.5 亿美元的 D 轮融资,并已创建了近 30 亿个沙箱。在本次对话中,Erik 与 Vibhu 一同深入探讨了这种增长背后的基础设施与经济学原理——以及为什么对算力的实际需求很少会呈现为采购合同中的形态。

在 YouTube 上观看完整对话 →

Video 1

GPU 需求并非矩形

一份典型的容量合同通常会在固定期限内为客户提供固定数量的 GPU。如果将容量与时间绘制成图表,你会得到一个矩形。但实际的工作负载却截然不同:它们在一天当中会持续增长、出现峰值并随后回落。如果按峰值购买足够的算力,你就要为闲置硬件买单;如果少买,你又面临无法满足需求的风险。

Erik 将 Modal 的破局点描述为一种期限转换(Duration Transformation):汇聚数千家客户的需求,在底层锁定容量,并让每位客户在需要时按需使用。聚合需求越平滑,这个资源池的效用就越高。这可以作为我们与 SF Compute 的 Evan Conrad 对话的绝佳补充:Evan 专注于让算力变得可交易;而 Erik 则专注于将其切分为更小、更具弹性的切片以供使用。

但硬币的另一面是财务风险。如果供应商以当前价格锁定了容量,而随后 GPU 价格下跌,它可能就会积压高成本的供应。Erik 表示,虽然他并不认为崩盘迫在眉睫,但在构建业务时必须考虑这种可能性。跳转到 GPU 价格讨论 →

险些胎死腹中的沙箱产品

在 Erik 与联合创始人 Akshat Bubna 发现语言模型可以生成代码,且必然需要一个运行代码的场所之后,Modal 推出了沙箱(Sandbox)产品。最初的用户采用率相当平淡,团队甚至讨论过关停该产品。随后,编程智能体(Coding Agents)、后台智能体和强化学习带来了全新的需求。Erik 表示,沙箱如今已贡献了 Modal 约三分之一的收入,这一结果他在发布之初完全没有预料到。

这一增长也改变了基础设施所需承担的任务。一个智能体可能会创建环境、运行代码、检查结果,并反复尝试多次。启动和恢复这些环境的延迟因而直接成为了体验的一部分。在我们最近对 Akshat 的采访中,我们探讨了这种从“开发者体验”到“智能体体验”的转变;在此,Erik 则补充了相关的产品与商业背景。跳转到沙箱讨论 →

快速启动是一项基础设施特性

弹性唯有在容量能够以足够快的速度就位时才有意义。Modal 关于无服务器 GPU 的文章详细阐述了其底层机制:可用 GPU 缓冲池、定制文件系统、进程检查点(Process Checkpointing)以及 GPU 显存快照。这些技术组件减少了让新的模型副本上线所需的工作量。这是一个直观展示基础设施决策如何直接影响应用程序响应速度与成本的典型范例。

我们还探讨了 Erik 从 Spotify 推荐系统到创办 Modal 的历程、公司的算力采购策略、NVIDIA 的替代方案、前线部署工程师(Forward-Deployed Engineers),以及为什么在 Modal 代码审查(Code Review)是可选的。跳转到工程文化讨论 →

节目笔记

时间戳

  • 0:00 Modal 的业务是什么

  • 1:25 从 Spotify 到创立 Modal

  • 4:19 在生成式 AI 爆发前创立

  • 7:43 首批客户与融资经历

  • 10:00 专为推理与自动扩缩容而构建

  • 13:21 Modal 从何处获取 GPU 容量

  • 15:39 租赁 vs 自建基础设施

  • 19:45 GPU 价格下跌的潜在风险

  • 24:18 AI 需求是无限的吗?

  • 26:12 NVIDIA 的替代方案

  • 28:25 Modal 能从新型云厂商(Neoclouds)身上借鉴什么

  • 30:26 作为一类资产的 GPU

  • 31:55 Modal 的核心产品:函数(Functions)与沙箱(Sandboxes)

  • 36:03

#播客#深度访谈#AI智能体#AI安全#4Allapi.com

采集自 Latent Space · 由 4All API 整理

原文链接:https://www.latent.space/p/modal-d

想用主流 AI 大模型 API?4All API 一个 key 调通 OpenAI / Anthropic / Google Gemini / 通义千问 / DeepSeek 等数十种模型,按官方价分润、企业级稳定通道、5 分钟接入。

注册 4All API 控制台 →