跳转到内容
主站 新闻 控制台

OpenAI 的 Git 规模化实践

· OpenAI
OpenAILLM

在 OpenAI 规模化扩展 Git

构建 Agent(智能体)级规模的代码版本控制系统,同时反哺 Git 生态。

作者:Aaron Friel、Taylor Blau 与 Ted Nyman,技术团队成员

在过去一年中,我们单体代码库(monorepo)的规模以及所面临的访问需求以惊人的速度增长。很显然,我们需要彻底改造源代码控制系统,以适应由 Codex 带来的超高并发工作量。

OpenAI 单体代码库的季度提交增长量

相较于 2024 年第一季度合并到 master 分支的提交增长

实际增长

基准预估

我们在不中断任何工程研发工作、也不改变团队使用 Git 习惯的前提下,构建了专为 Git 仓库打造的全新后端系统——Pando。目前,Pando 已经支撑起 OpenAI 单体代码库中的所有研发活动。Pando 旨在实现两个宏伟目标:第一,实现水平可扩展的写入能力,针对向多分支的并发推送(push)进行优化;第二,最大化读取吞吐量,使客户端下载数据的速度足以完全跑满其可用的网络带宽。

我们在实现这些目标的同时,保持了与 Git 协议及客户端的完全兼容,使得我们的工程师与智能体(Agent)都能无缝将 Pando 接入现有工作流中。在生产环境中,Pando 将推送延迟的中位数降低了近 5 倍。如今,它每天分发的 Git 数据量已接近 1 PB。

在本文中,我们将介绍构建新源代码控制系统的初衷,以及为何选择保持与 Git 的兼容性。我们还将把该系统与扩展 Git 的常见方案进行对比,阐明为什么 Pando 能够独特地满足 OpenAI 的可扩展性需求。此外,我们还将探讨未来的规划,以及我们将如何继续向 Git 上游贡献代码,以支持智能体级规模的工作。

为什么我们需要新的源代码控制系统

Codex 彻底改变了 OpenAI 的研发规模与研发节奏,使工程师能够并行开展远超以往的工作。这意味着更多的分支与推送(push)、更多的合并(merge),以及来自开发环境、研究任务和持续集成(CI)的更多拉取(fetch)与克隆(clone)。

这些需求叠加激增。现在,一名工程师常常同时准备好多个变更等待 CI 构建,而每一次推送都可能触发数个并发任务去拉取同一个提交。

从去年年底左右开始,支撑我们单体代码库的底层系统就已难以招架。拉取和推送变得异常缓慢,合并频繁失败,系统可靠性一度跌破 90%。我们究竟是触碰到了 Git 本身的极限,还是触碰到了我们托管单体代码库方式的极限?Git 诞生于一个通过电子邮件交换内核补丁的开源社区。二十多年来,随着软件构建方式的演进,开发者围绕 Git 不断调整其工具链。当我们开始在自己的单体代码库中遇到瓶颈时,能够继续基于现有成果来构建系统对我们而言至关重要。

我们找到了一条既能保留这种熟悉工作流,又能重构后端以并行处理对不同分支的推送,并同时向大量读取者提供相同历史记录的路径。将 Git 作为我们源代码控制工作流的基石,意味着针对客户端做出的改进不仅能造福 OpenAI,还能产生更广泛的影响。我们希望将我们维护的 Git 副本 中的这些改进贡献回上游,与更广泛的社区共享。

针对大规模 Git 的工程设计

扩展源代码控制系统包含两个核心维度:大量写入者向不同分支推送代码,以及大量读取者拉取相同的历史记录。Pando 针对这两个维度都进行了优化。

首先,Pando 独立协调对各个分支的更新。针对互不相关分支的更新可以并行进行,拉取某一分支的读取者也能获取该版本所需的全部历史。这里的权衡(trade-off)在于,同时查看多个分支的读取者可能会看到它们处于不同的时间点。

其次,Pando 复用了 packfile(Git 用于压缩多个对象的打包文件格式)……