我们最新的模型进展为构建和迁移低资源编程语言(如 COBOL、Fortran 和 Visual Basic)的软件带来了更强大的能力。与 Python 和 JavaScript 等语言相比,这些语言可供模型学习的代码和文档较少,但它们支撑着全球的关键基础设施与核心服务。COBOL 支撑着超过 40% 的在线银行系统、80% 的线下信用卡交易以及 95% 的 ATM 交易,而 Fortran 则用于天气预报和核反应堆安全分析。提升 AI 在这些语言中的能力,有助于各团队维护并现代化升级核心服务所依赖的软件。
这项工作源自开发者和企业客户的反馈,他们表示代码生成模型在处理这些语言时往往表现挣扎。维护和现代化升级这些软件可能会非常困难:文档可能不完整、最初的开发者可能已经离职,而且重要的业务规则可能仅存在于代码之中。无论团队是在修复漏洞还是迁移到另一种语言,他们都需要确保系统所依赖的行为保持不变。
为了衡量进展,我们开发了两套评估基准。MultiLangBench 测试模型是否能够使用 20 种不同的编程语言从零开始构建一个兼容 SQLite 的数据库引擎。我们的 COBOL 迁移评估则测试模型能否在保持原有行为的同时,将现有程序迁移到另一种语言。二者结合,测试了两种互补的能力:构建新软件以及保留现有软件的功能行为。
我们最新的模型在两项评估中均表现出显著提升,在降低成本的同时提供了大幅提高的准确率。
在 MultiLangBench 上,GPT‑6 Astra 在 20 种编程语言中的平均测试通过率达到了 87.4%,相比 GPT‑5.6 Sol 的 26.8% 大幅提升,且在所有测试语言中均有进步。GPT‑6 Luna 的表现也优于 GPT‑5.6 Sol,达到了 40.3% 的通过率,同时预估 API 成本降低了约 78%。
在我们的 COBOL 迁移评估中,GPT‑6.1 Sol 在低推理力度(low reasoning effort)下实现了 86.6% 的准确率,而 GPT‑5.6 Sol 在相同设置下的准确率仅为 5.4%,且前者的成本降低了 39%。在较高推理力度下,准确率达到了 97.9%,几乎使该评估趋于饱和。
综合来看,这些结果表明我们的模型在处理多种编程语言方面已显著改善,同时也更具成本效益。
1. 从零构建 SQLite(MultiLangBench)
MultiLangBench 要求模型使用指定的编程语言构建一个兼容 SQLite 的数据库引擎。模型必须组织代码库、管理状态、处理错误,并在保留现有功能的同时添加新特性。
为了比较跨语言的实现,我们将数据库文件作为通用接口。候选程序接收一个初始数据库和一条 SQL 查询,然后生成一个修改后的数据库。我们使用 SQLite 参考实现来检查生成的数据库是否包含预期内容。这使我们无论使用何种语言构建引擎,都能应用相同的测试用例。
我们根据这种格式改造了 SQLite 现有测试套件中的测试。该评估旨在衡量模型在一段长程编码会话中能够构建多少可正常运行的功能,同时汇报测试通过率和 API 成本。
在最大推理力度下,GPT‑6 Astra 在 20 种语言中的平均测试通过率达到 87.4%,相比 GPT‑5.6 Sol 的 26.8% 显著提升。性能改进覆盖了所有测试语言,包括 COBOL(从 10.9% 升至 72.1%)、OCaml(从 25.6% 升至 85.8%)、Fortran(从 21.4% 升至 83.5%)和 Visual Basic(从 27.5% 升至 89.4%)。在 20 种语言中,Astra 在 19 种语言中的得分均超过 83%,其中 COBOL 仍最具挑战性,为 72%。
GPT‑6 Luna 提供了更低成本的选择,在所有测试语言中相较 GPT‑5.6 Sol 也均有提升。在最大推理力度下,其平均测试通过率达到 40.3%。提升包括 COBOL(从 10.9% 升至 17.1%)、OCaml(从 25.6% 升至 34.1%)、Fortran(从 21.4% 升至 31.4%)和 Visual Basic(从 27.5% 升至 41.6%)。这些性能提升伴随的是每个样本约 0.77 美元的预估平均 API 成本,相比 GPT‑5.6 Sol 的 3.48 美元降低了约 78%。
C C# C++ COBOL Common Lisp Fortran Go Java JavaScript Lean OCaml PHP PowerShell Python Ruby Rust Scala Swift Visual Basic Zig
我们已在 GitHub 上开源发布了 MultiLangBench 的评估设置和测试套件,以及各语言的测试结果。开发者可以检查评估的具体测试内容,查看其所用语言的性能表现,并找出对其实际工作有关键影响的差距。
2. 迁移 COBOL 代码库
我们的第二项评估要求模型将 COBOL 程序迁移到 C++、Java、Kotlin、Python 或 Rust,同时保持每个程序的功能不变。
成功的迁移既需要理解程序的业务逻辑,也需要理解 COBOL 特有的语言行为。COBOL 程序通常用于处理金融交易和商业记录,其中舍入规则和缺失记录处理等细节都反映了具体的业务要求。例如,COBOL 的定点运算(fixed-point arithmetic)会直接舍弃多余的小数位,除非显式指定舍入。如果重写后的程序改用四舍五入,即使运行时不报错,也会产生不同的财务结果。
为了测试这些行为是否得以保留,我们通过隐藏测试对模型进行评估,要求在可观察输出上达到逐字节一致(byte-for-byte parity)。只有所有测试全部通过,才被视为迁移成功。这种行为保持能力对于维护和现代化升级老旧系统的团队非常有用,不过将其应用于生产软件仍需专家审查,并根据系统的业务规则与依赖项进行全面测试。
在此评估中,GPT‑6.1 Sol 在低推理力度下达到了 86.6% 的准确率,而 GPT‑5.6 Sol 在相同设置下的准确率仅为 5.4%,且前者的 API 成本仅为其 61%。在较高推理力度下,准确率达到了 97.9%,使该评估接近饱和。这些评估结果表明,对于正在对核心业务软件进行现代化改造的团队而言,代码迁移正朝着更准确、更经济的方向取得进展。