コンテンツにスキップ
メインサイト ニュース コンソール

低リソースプログラミング言語におけるコーディング能力の向上

· OpenAI 翻訳済
OpenAILLM

私たちの最新モデルの進展により、COBOL、Fortran、Visual Basic などの低リソースプログラミング言語で構築されたソフトウェアの新規開発や移行において、より強力な機能がもたらされました。これらの言語は、Python や JavaScript などの言語と比較してモデルが学習できるコードやドキュメントが少ないものの、世界中の重要なインフラや基幹サービスを支えています。COBOL はオンラインバンキングシステムの 40% 以上、対面でのクレジットカード取引の 80%、ATM 取引の 95% を支えており、Fortran は気象予測や原子炉の安全性解析に使用されています。これらの言語における AI の能力を向上させることは、コアサービスを支えるソフトウェアの保守やモダナイゼーションに取り組むチームを支援することにつながります。

この取り組みは、コード生成モデルがこれらの言語を扱う際に苦戦しがちであるという、開発者やエンタープライズ顧客からのフィードバックを受けて開始されました。これらのソフトウェアの保守やモダナイゼーションは極めて困難な場合があります。ドキュメントが不完全であったり、最初の開発者がすでに退職していたり、重要なビジネスルールがコード内にしか存在しなかったりするためです。チームがバグを修正する場合であれ、別の言語に移行する場合であれ、システムが依存する動作が変わらないことを保証する必要があります。

進捗を測定するため、私たちは2つの評価ベンチマークを開発しました。MultiLangBench は、モデルが 20 種類の異なるプログラミング言語を使用して SQLite 互換のデータベースエンジンを一から構築できるかどうかをテストします。COBOL 移行評価では、元の動作を維持したまま既存のプログラムを別の言語に移行できるかをテストします。これらを組み合わせることで、「新しいソフトウェアを構築する能力」と「既存ソフトウェアの機能的動作を維持する能力」という、相互に補完し合う2つの能力を検証します。

私たちの最新モデルは両方の評価で目覚ましい向上を示し、コストを削減しながら精度を大幅に向上させました。

MultiLangBench において、GPT‑6 Astra は 20 言語の平均テスト合格率で 87.4% を達成し、GPT‑5.6 Sol の 26.8% から大幅に向上しただけでなく、テスト対象となったすべての言語で改善が見られました。GPT‑6 Luna も GPT‑5.6 Sol を上回る 40.3% の合格率を記録し、推定 API コストを約 78% 削減しました。

COBOL 移行評価では、GPT‑6.1 Sol が低推論労力(low reasoning effort)の設定で 86.6% の正解率を達成しました。これに対し、同じ設定での GPT‑5.6 Sol の正解率はわずか 5.4% であり、前者のコストは 39% 削減されています。高推論労力の設定では正解率が 97.9% に達し、この評価指標はほぼ飽和状態となりました。

これらの結果を総合すると、私たちのモデルが多様なプログラミング言語を扱う能力において大幅に改善され、同時に費用対効果も高まったことが示されています。

1. ゼロからの SQLite 構築(MultiLangBench)

MultiLangBench は、指定されたプログラミング言語を使用して SQLite 互換のデータベースエンジンを構築することをモデルに要求します。モデルはコードベースを構成し、状態を管理し、エラーを処理しながら、既存の機能を損なうことなく新機能を追加しなければなりません。

言語間の実装を比較するため、データベースファイルを共通インターフェースとして使用しました。評価対象のプログラムは初期状態のデータベースと 1 つの SQL クエリを受け取り、変更後のデータベースを生成します。その後、SQLite のリファレンス実装を用いて、生成されたデータベースが期待通りの内容を含んでいるかを検証します。これにより、どの言語でエンジンが構築されているかに関わらず、同一のテストケースを適用することができます。

私たちは SQLite の既存テストスイートに含まれるテストをこの形式に合わせて改良しました。この評価は、長時間のコーディングセッションにおいてモデルが正常に動作する機能をどれだけ構築できるかを測定することを目的としており、テスト合格率と API コストの両方を報告します。

最大推論労力の設定において、GPT‑6 Astra は 20 言語の平均テスト合格率で 87.4% を達成し、GPT‑5.6 Sol の 26.8% から大幅に向上しました。この性能向上はテスト対象の全言語に及び、COBOL(10.9% から 72.1%)、OCaml(25.6% から 85.8%)、Fortran(21.4% から 83.5%)、Visual Basic(27.5% から 89.4%)などが含まれます。20 言語中 19 言語において Astra のスコアは 83% を超えており、最も難易度が高かった COBOL でも 72% を記録しました。

GPT‑6 Luna はより低コストな選択肢を提供し、すべてのテスト対象言語で GPT‑5.6 Sol を上回る成果を上げました。最大推論労力において、平均テスト合格率は 40.3% に達しました。向上した例として、COBOL(10.9% から 17.1%)、OCaml(25.6% から 34.1%)、Fortran(21.4% から 31.4%)、Visual Basic(27.5% から 41.6%)が挙げられます。こうした性能向上と同時に、サンプルあたりの推定平均 API コストは約 0.77 ドルとなり、GPT‑5.6 Sol の 3.48 ドルから約 78% 削減されました。

C C# C++ COBOL Common Lisp Fortran Go Java JavaScript Lean OCaml PHP PowerShell Python Ruby Rust Scala Swift Visual Basic Zig

MultiLangBench の評価環境設定とテストスイート、および各言語のテスト結果は GitHub でオープンソースとして公開されています。開発者は評価の具体的なテスト内容を確認し、自らが使用している言語のパフォーマンスを把握して、実際の業務に重大な影響を及ぼす可能性のあるギャップを特定することができます。

2. COBOL コードベースの移行

2 つ目の評価では、各プログラムの機能を維持したまま、COBOL プログラムを C++、Java、Kotlin、Python、または Rust に移行することをモデルに求めています。

移行を成功させるには、プログラムのビジネスロジックだけでなく、COBOL 特有の言語動作を理解する必要があります。COBOL プログラムは金融取引やビジネスレコードの処理によく使われており、端数処理のルールや欠損レコードの処理などの細部に至るまで具体的なビジネス要件が反映されています。たとえば、COBOL の固定小数点演算(fixed-point arithmetic)では、明示的に端数処理が指定されていない限り、余分な小数点以下の桁はそのまま切り捨てられます。書き直したプログラムが誤って四捨五入などの丸め処理を採用してしまった場合、実行時エラーが発生しなくても、結果として得られる財務数値に食い違いが生じてしまいます。

これらの動作が維持されているかを検証するため、私たちは隠しテスト(hidden test)を用いてモデルを評価し、観測可能な出力においてバイト単位で完全一致(byte-for-byte parity)することを要求しました。すべてのテストに合格した場合にのみ移行成功とみなされます。このような動作保持能力は、レガシーシステムの保守やモダナイゼーションを行うチームにとって非常に有益です。ただし、本番環境のソフトウェアに適用する際には、依然として専門家によるレビューと、システムのビジネスルールおよび依存関係に基づいた包括的なテストが不可欠です。

この評価において、GPT‑6.1 Sol は低推論労力の設定で 86.6% の正解率を達成しました。同じ設定での GPT‑5.6 Sol の正解率はわずか 5.4% であり、前者の API コストは Sol の約 61%(39% 削減)に抑えられています。高推論労力の設定では正解率が 97.9% に達し、本評価はほぼ上限に到達しました。これらの評価結果は、基幹業務ソフトウェアのモダナイゼーションに取り組むチームにとって、コード移行がより高精度かつ低コストで実現可能になりつつあることを示しています。

エンタープライズ向けソフトウェア機能の向上(Advancing capabilities for enterprise software)