OpenAI의 COBOL·Fortran 대응 강화란: MultiLangBench와 COBOL 이전 평가 결과 정리

OpenAI — MultiLangBench 공식 페이지 스크린샷 — OpenAI — MultiLangBench · 출처촬영일: 2026년 10월 20일

촬영일 기준 공식 페이지이며 기사 게시 당시와 다를 수 있습니다. 이미지를 선택하면 확대할 수 있습니다.

OpenAI는 2026년 10월 19일(일본 시간 같은 날 21시) 'Advancing coding in low-resource programming languages(저자원 프로그래밍 언어에서의 코딩을 발전시키다)'라는 글을 공개했습니다. COBOL, Fortran, Visual Basic처럼 오래전부터 쓰여 온 프로그래밍 언어에서, 최신 AI 모델이 프로그램을 작성하거나 다른 언어로 옮기는 능력이 크게 향상됐다는 내용입니다. 이와 함께 새 평가 체계 'MultiLangBench'를 GitHub에 공개했습니다.

이 기사의 수치는 OpenAI의 발표를 전한 여러 보도에서 일치한 내용과, GitHub에 공개된 평가 설명을 바탕으로 합니다. 소개하는 성적은 모두 OpenAI가 직접 측정한 것입니다.

'저자원 언어'란

AI 모델은 인터넷 등에 있는 방대한 프로그램과 해설을 학습해 프로그래밍을 익힙니다. Python이나 JavaScript처럼 널리 쓰이는 언어는 참고할 예시가 많지만, COBOL이나 Fortran 등은 공개된 프로그램과 자료가 적어 AI가 약한 분야였습니다. 이처럼 학습에 쓸 수 있는 자료가 적은 언어를 '저자원 언어'라고 부릅니다.

COBOL은 주로 사무 처리에, Fortran은 주로 과학기술 계산에 쓰여 온 언어입니다. 보도에 따르면 OpenAI는 글에서 COBOL이 온라인 뱅킹의 40% 이상, 대면 카드 결제의 80%, ATM 거래의 95%를 떠받치고 있다고 소개했고, Fortran은 일기예보와 원자로 안전 해석에 쓰이고 있다고 설명했습니다.

새 평가 'MultiLangBench'

MultiLangBench는 AI 모델에게 'SQLite'라는 데이터베이스 소프트웨어를 20개 언어로 처음부터 만들게 하는 평가입니다. SQLite는 널리 쓰이는 소형 데이터베이스 소프트웨어입니다.

GitHub에 공개된 설명에 따르면 구조는 다음과 같습니다.

모델에게는 SQLite 3.40.1의 설명서만 주고, 똑같이 동작하는 프로그램을 지정한 언어로 작성하게 한다
인터넷에는 연결하지 못하게 하고, 환경에서 SQLite를 미리 제거해 둔다
SQLite 자체 테스트를 바탕으로 만든 약 2만 4,000건의 테스트로 실제 SQLite와 같은 결과가 나오는지 확인한다(보통은 그중 272건을 사용)
지정과 다른 언어로 작성하거나 여러 언어를 섞으면 불합격

대상 언어는 C, C#, C++, COBOL, Common Lisp, Fortran, Go, Java, JavaScript, Lean, OCaml, PHP, PowerShell, Python, Ruby, Rust, Scala, Swift, Visual Basic, Zig의 20개입니다. 테스트와 환경은 Apache License 2.0으로 공개됐습니다.

OpenAI가 제시한 성적

보도에 따르면 OpenAI가 공개한 주요 결과는 다음과 같습니다. 수치는 테스트를 통과한 비율입니다.

GPT-6 Astra: 20개 언어 평균 87.4%. 20개 언어 중 19개 언어에서 83%를 넘음
GPT-6 Luna: 평균 40.3%. 1회당 비용은 약 0.77달러
GPT-5.6 Sol: 평균 26.8%. 1회당 비용은 3.48달러

언어별로 보면 GPT-6 Astra의 성적은 GPT-5.6 Sol과 비교해 다음과 같이 올랐다고 보도됐습니다.

COBOL: 10.9%에서 72.1%로
Fortran: 21.4%에서 83.5%로
OCaml: 25.6%에서 85.8%로
Visual Basic: 27.5%에서 89.4%로

GPT-6 Astra에서도 COBOL은 20개 언어 중 가장 낮은 성적이었습니다.

COBOL 프로그램을 다른 언어로 옮기는 평가

OpenAI는 또 다른 평가로 'COBOL 이전 평가'의 결과도 제시했습니다. COBOL로 작성된 프로그램을 C++, Java, Kotlin, Python, Rust 중 하나로 다시 작성하게 하고, 원래 프로그램과 1바이트도 다르지 않은 같은 출력이 나오는지 확인하는 평가입니다. 오래된 시스템을 새 언어로 옮기는 '이전(마이그레이션)' 작업에서 기존과 같은 동작을 유지할 수 있는지를 측정합니다.

보도에 따르면 결과는 다음과 같습니다.

GPT-6.1 Sol(추론량을 적게 한 설정): 86.6%
GPT-6.1 Sol(추론량을 많게 한 설정): 97.9%
GPT-5.6 Sol(추론량을 적게 한 설정): 5.4%

이 평가에 사용한 프로그램의 수와 내용, 평가 체계를 공개할지 여부는 CoAI 편집부가 확인할 수 있었던 범위에서는 알 수 없었습니다.

사용할 수 있는 곳과 주의할 점

보도에서는 개선 사항이 ChatGPT뿐 아니라 API로 쓸 수 있는 최신 모델에도 반영됐다고 전했습니다. 새 제품 발표가 아니라 기존 모델의 능력이 향상됐음을 알리는 발표입니다. Codex에서의 적용이나 일본어 관련 안내는 확인할 수 있었던 범위에서는 특별한 안내가 없습니다.

OpenAI는 실제 시스템 이전에서는 전문가의 검토와, 해당 시스템의 업무 규칙 및 다른 시스템과의 연결에 맞춘 테스트가 여전히 필요하다고 당부했습니다.

일본의 오래된 시스템과의 관계

일본에서도 오래된 기간 시스템(회사의 핵심 업무를 지탱하는 시스템)을 어떻게 다룰지는 오랫동안 과제였습니다. 일본 경제산업성은 2018년 DX 보고서에서, 오래된 시스템이 걸림돌이 되어 DX(디지털 기술을 통한 변혁)가 진척되지 않는 문제를 '2025년의 절벽'이라 부르며 경종을 울렸습니다. 2025년 5월 경제산업성이 정리한 '레거시 시스템 현대화 위원회 총괄 보고서'는 조사에 응한 기업의 61%가 여전히 오래된 시스템(레거시 시스템)을 보유하고 있으며, 숙련 기술자가 떠나면서 IT 인력이 계속 줄고 있다고 지적했습니다.

메인프레임(대형 업무용 컴퓨터)에서 돌아가는 오래된 시스템 중에는 COBOL로 작성된 것이 많습니다. AI가 이런 언어를 정확히 읽고 쓸 수 있게 되면, 사양서가 남아 있지 않은 오래된 프로그램을 이해하거나 새 언어로 옮기는 작업을 돕는 데 쓰일 가능성이 있습니다.

CoAI 편집부의 시각

지금까지 AI 프로그래밍 평가는 Python이나 JavaScript 등 널리 쓰이는 언어가 중심이었습니다. 이번 OpenAI의 발표는 은행과 행정 등에서 지금도 돌아가는 COBOL과 Fortran에 주목하고, 평가 체계까지 공개했다는 점에서 의미가 있습니다. 테스트를 누구나 쓸 수 있게 했기 때문에 다른 회사의 모델과도 같은 조건에서 비교하기 쉬워집니다.

한편 제시된 수치는 OpenAI가 직접 측정한 것이며, COBOL 이전 평가의 내용은 확인하지 못했습니다. 돈이나 개인정보를 다루는 시스템에서는 작은 동작 차이도 큰 문제로 이어질 수 있습니다. AI를 이전 작업에 쓰더라도, OpenAI 스스로 말하듯 전문가의 검토와 충분한 테스트를 전제로 하는 것이 좋겠습니다.