OpenAI发布低资源语言编程评测框架

IT时代网

2026-10-20 07:10:51

254

次

IT时代网10月20日消息，OpenAI 近日发布文章，介绍其在低资源编程语言编码能力上的进展，并开源了名为 MultiLangBench 的多语言编程评测框架。

所谓低资源语言，是指可用代码与文档远少于 Python、JavaScript 的编程语言，例如 COBOL、Fortran、Visual Basic 等，它们仍在支撑大量关键基础设施。MultiLangBench 覆盖 20 种语言，要求模型从零构建一个兼容 SQLite 的数据库引擎，并以测试通过率与 API 成本为指标。

在新框架下，GPT-6 Astra 取得平均 87.4% 的测试通过率（前代 GPT-5.6 Sol 为 26.8%）；其中 COBOL 由 10.9% 升至 72.1%，OCaml 由 25.6% 升至 85.8%，Fortran 由 21.4% 升至 83.5%，Visual Basic 由 27.5% 升至 89.4%。面向低成本的 GPT-6 Luna 平均通过率为 40.3%，单样本成本约 0.77 美元，较前代下降约 78%。

在 COBOL 程序迁移评测中，GPT-6.1 Sol 以低推理强度取得 86.6% 的通过率（前代仅 5.4%），高推理强度下达到 97.9%，接近饱和。OpenAI 表示，相关能力仍需专家审查与生产环境测试。

COBOL 支撑着超过 40% 的网银、80% 的线下信用卡交易与 95% 的 ATM 交易，Fortran 则用于天气预报与核反应堆安全分析。OpenAI 称，提升模型在更多语言上的软件工程能力，旨在帮助维护与现代化这些遗留系统。