OpenAI, COBOL 코드 이전 정확도 5.4%에서 86.6%로 높였다

OpenAI가 2026년 10월 19일 COBOL, Fortran, OCaml, Visual Basic 같은 저자원 프로그래밍 언어에서 코딩 성능을 높인 최신 모델의 평가 결과를 공개했다. 20개 언어로 SQLite 호환 데이터베이스 엔진을 만드는 MultiLangBench에서 GPT-6 Astra는 평균 테스트 통과율 87.4%를 기록했다. 직전 모델 GPT-5.6 Sol은 26.8%였다.

COBOL 프로그램을 다른 언어로 옮기는 자체 평가에서는 GPT-6.1 Sol이 낮은 추론 강도에서 정확도 86.6%를 냈고, GPT-5.6 Sol은 같은 설정에서 5.4%였다. GPT-6.1 Sol의 비용은 GPT-5.6 Sol보다 39% 낮아, 61% 수준이었다. 추론 강도를 높이면 정확도가 97.9%에 이르러 평가가 거의 포화됐다고 OpenAI는 밝혔다. 개발자는 API로 최신 모델을 써 볼 수 있다.

왜 저자원 언어인가

저자원 언어는 Python이나 JavaScript보다 모델이 학습할 코드와 문서가 적다. 그래도 핵심 인프라를 떠받친다. OpenAI에 따르면 COBOL은 온라인 뱅킹 시스템의 40% 넘게, 대면 신용카드 결제의 80%, ATM 거래의 95%를 지탱한다. Fortran은 기상 예보와 원자로 안전 해석에 쓰인다.

OpenAI는 개발자와 기업 고객이 코딩 모델이 이런 언어에 약하다고 전해 왔다고 밝혔다. 문서가 불완전하거나 원래 개발자가 회사를 떠났거나 업무 규칙이 코드에만 남은 경우가 많아, 버그를 고치든 다른 언어로 옮기든 기존 동작을 보존해야 한다는 것이다.

MultiLangBench 결과

MultiLangBench는 지정한 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 만들게 한다. 모델은 코드베이스를 구성하고 상태를 관리하고 오류를 처리하며, 기존 기능을 유지한 채 새 기능을 더해야 한다. 언어가 달라도 같은 시험을 적용하도록 데이터베이스 파일을 공통 인터페이스로 쓴다. 후보 프로그램이 초기 데이터베이스와 SQL 쿼리를 받아 수정된 데이터베이스를 내놓으면, 참조용 SQLite 구현으로 내용이 맞는지 확인한다. 시험은 SQLite 기존 테스트 스위트에서 가져와 바꿨다.

GPT-6 Astra는 시험한 모든 언어에서 점수가 올랐고, 20개 중 19개에서 83%를 넘었다. COBOL이 72%로 가장 어려웠다. 저비용 선택지인 GPT-6 Luna도 모든 언어에서 GPT-5.6 Sol을 앞섰다. 최대 추론 강도에서 Luna의 20개 언어 평균 통과율은 40.3%이고, 샘플당 추정 API 비용은 평균 0.77달러로 GPT-5.6 Sol의 3.48달러보다 약 78% 낮다. OpenAI는 평가 설정과 테스트 스위트, 언어별 결과를 GitHub에 공개했다.

COBOL 이전 평가

두 번째 평가는 COBOL 프로그램을 C++, Java, Kotlin, Python, Rust 중 하나로 옮기면서 동작을 보존하게 한다. COBOL 프로그램은 금융 거래와 업무 기록을 처리하는 경우가 많아 반올림 규칙이나 누락 기록 처리 같은 세부가 곧 업무 요건이다. 예컨대 COBOL의 고정소수점 연산은 반올림을 명시하지 않으면 초과 소수 자릿수를 버린다. 이를 반올림으로 바꿔 쓰면 오류 없이 돌아가면서도 금융 결과가 달라질 수 있다.

채점은 관찰 가능한 출력이 바이트 단위로 일치해야 하는 비공개 테스트로 하며, 모든 테스트를 통과해야 성공으로 친다. OpenAI는 이런 이전 능력이 오래된 시스템을 유지하고 현대화하는 팀에 쓸모가 있지만, 실제 운영 소프트웨어에 적용하려면 전문가 검토와 업무 규칙, 의존성에 대한 테스트가 여전히 필요하다고 밝혔다.

OpenAI는 낯선 저장소 이해, 변경 계획, 빌드 도구 사용, 테스트 실행, 실패 디버깅을 더 많은 언어에서 해내게 하는 것을 목표로 꼽았다. 팀이 쓰는 언어로 코딩 작업을 시험해 보고, 잘 되는 점과 막히는 점, 다음에 집중할 언어를 알려 달라고 요청했다.