Anthropic 的 IPO 路演视频。Anthropic 昨天启动了他们的 IPO 路演,其路演视频中包含了一些此前未公开的关于其业务运作方式的信息。
联合创始人 Tom Brown 关于“算力策略(Approach to compute)”的部分尤为有趣,他描述了 Anthropic 如何跨越 AWS Trainium、Google TPU、NVIDIA GPU 和 AMD GPU 来训练和部署 Claude。
我不确定为什么没有官方的视频文字稿,但这里有一份我用 MacWhisper 提取的文字稿。精彩摘录如下:
我们现在横跨四大主流芯片家族来训练和部署 Claude。这之所以成为可能,是因为我们早期对多芯片策略(multi-chip strategy)下了一个非传统的赌注。当时,许多人认为在不同芯片上运行 AI 模型不值得花费精力。每种芯片都需要量身定制的软件栈和推理栈,这既昂贵又难以构建。我们现在已经这样做了好几年,并且已经变得非常擅长。[…]
举个例子,今年我们首次开始使用 AMD GPU。在过去,引入一个新的芯片平台需要几十名工程师花费数月的时间。这一次,我们让 Mythos 进行了尝试。它在几乎没有人类干预的情况下,仅用三天时间就让 Claude 在 AMD 上运行了起来。Claude 移植或编写了近 100% 的内核(kernels)。[…]
我们算力优势的第二个驱动力是我们发现“算力乘数(compute multipliers)”的速度。我们关注的是总有效算力(total effective compute),它是物理容量与我们发现的算力乘数的乘积。我们每发现一个乘数,都会让我们的总有效算力池变得更大。例如,假设你需要 100 个单位的算力来训练一个特定智能水平的模型。一个 4 倍的算力乘数意味着你只需使用 25 个单位的算力就能训练出完全相同的模型。或者,你可以使用这 100 个物理单位的算力去训练一个以前需要 400 个单位才能训练出的、甚至更智能的模型。
算力乘数为我们创造了难以复制的竞争优势。它们相辅相成。我们发现的每一个新乘数都会对之前的乘数产生积极影响。它们是可以叠加的。我们相信,随着我们接近递归自我改进(recursive self-improvement),这一过程甚至可以进一步加速。Claude 将能够完全依靠自己发现算力乘数,从而使算力乘数的数量增长得越来越快。
去年 9 月,我们在 Anthropic 对近期三个问题的事后分析(postmortem)中就看到了他们多芯片策略的端倪,当时他们描述了一些仅影响其 TPU 部署的 bug。