コンテンツにスキップ
メインサイト ニュース コンソール

OpenAIのGitスケーリング実践

· OpenAI 翻訳済
OpenAILLM

OpenAI における Git の大規模スケーリング

エージェント規模のコードバージョン管理システムを構築し、Git エコシステムへと還元する。

著者:Aaron Friel、Taylor Blau、Ted Nyman(技術チームメンバー)

過去1年間で、私たちのモノレポ(monorepo)の規模とそれに対するアクセス需要は驚異的なペースで増大しました。Codex によってもたらされた超高並行なワークロードに適応するためには、ソースコード管理システムを根本から刷新する必要があることは明白でした。

OpenAI モノレポにおける四半期ごとのコミット増加量

2024年第1四半期に master ブランチへマージされたコミットと比較した増加率

実際の増加

ベースライン予測

私たちは、エンジニアリングの開発業務を一切中断させることなく、チームの慣れ親しんだ Git の利用体験を変えることもなく、Git リポジトリ向けに特化した新たなバックエンドシステム「Pando」を構築しました。現在、Pando は OpenAI のモノレポにおけるすべての開発アクティビティを支えています。Pando は、2つの大きな目標を掲げて設計されました。1つ目は、複数ブランチへの並行プッシュ(push)に最適化された、水平方向にスケール可能な書き込み機能を実現すること。2つ目は、クライアントが利用可能なネットワーク帯域をフルに使い切る速度でデータをダウンロードできるよう、読み取りスループットを最大化することです。

これらの目標を達成する一方で、Git プロトコルおよびクライアントとの完全な互換性を維持したため、エンジニアもエージェントも既存のワークフローに Pando をシームレスに組み込むことができています。本番環境において、Pando はプッシュレイテンシの中央値を約5分の1に削減しました。現在では、1日あたり 1 PB 近くの Git データを配信しています。

本記事では、新しいソースコード管理システムを構築した動機や、なぜ Git との互換性を維持する選択をしたのかについて説明します。また、本システムを Git スケーリングにおける一般的なアプローチと比較し、なぜ Pando が OpenAI 特有のスケーラビリティ要件を満たすことができたのかを明らかにします。さらに、今後の展望や、エージェント規模のワークロードを支えるために今後どのように Git アップストリームへコードを貢献していくかについても解説します。

なぜ新しいソースコード管理システムが必要だったのか

Codex は OpenAI の開発規模と開発ペースを根本から変革し、エンジニアが従来よりもはるかに多くの作業を並行して進められるようにしました。これは、ブランチやプッシュ(push)の増加、マージ(merge)の増加、そして開発環境、研究タスク、継続的インテグレーション(CI)からのフェッチ(fetch)やクローン(clone)の増加を意味します。

これらの需要は累積して急増していきました。現在では、1人のエンジニアが CI ビルド待ちの複数の変更を同時に準備することも珍しくなく、1回のプッシュが同じコミットをフェッチする複数の並行タスクをトリガーすることもあります。

去年の暮れ頃から、私たちのモノレポを支える基盤システムは限界を迎えつつありました。フェッチやプッシュは極端に遅くなり、マージの失敗が頻発し、システムの信頼性は一時 90% を割り込みました。私たちは果たして Git そのものの限界に突き当たったのでしょうか、それともモノレポの運用方法の限界に達したのでしょうか? Git は、メールを通じてカーネルパッチをやり取りしていたオープンソースコミュニティから生まれました。20年以上にわたりソフトウェアの構築手法が進化する中で、開発者は Git を中心にツールチェーンを調整し続けてきました。私たちが自社のモノレポでボトルネックに直面し始めた際、これまでの資産の上にシステムを構築し続けられることが極めて重要でした。

私たちは、使い慣れたワークフローを維持しながら、異なるブランチへのプッシュを並行処理し、膨大な数の読み取りリクエストに対して同一の履歴を同時に配信できるようバックエンドを再構築する道を見出しました。Git をソースコード管理ワークフローの基盤として維持することは、クライアントに対する改善が OpenAI だけでなく、より広い範囲に好影響をもたらすことを意味します。私たちが保守している Git のフォーク におけるこれらの改善点をアップストリームへ還元し、より広範なコミュニティと共有していきたいと考えています。

大規模 Git に向けたエンジニアリング設計

ソースコード管理システムのスケーリングには、2つの核心的な側面があります。多数のライター(書き込み者)が異なるブランチへコードをプッシュすること、そして多数のリーダー(読み取り者)が同一の履歴をプルすることです。Pando は、これら両方の側面に対して最適化されています。

まず、Pando は各ブランチへの更新を独立して調整します。互いに関連のないブランチに対する更新は並行して実行でき、特定のブランチをフェッチするリーダーはそのバージョンに必要なすべての履歴を取得できます。ここでのトレードオフは、複数のブランチを同時に参照するリーダーが、それぞれのブランチを異なる時点の状態で確認する可能性がある点です。

次に、Pando は packfile(Git が複数のオブジェクトを圧縮するために使用するパックファイル形式)を再利用しています……

#OpenAI#LLM#Codex#4Allapi.com

4All API チームによる投稿

原文リンク:https://openai.com/index/scaling-git-at-openai

主流 AI モデル API をお探しですか?4All API は OpenAI / Anthropic / Google Gemini / Qwen / DeepSeek など数十種類のモデルを単一の API キーで呼び出せます。公式準拠の価格、エンタープライズ品質の通信路、5 分で接続完了。

4All API コンソールに登録 →