OpenAI, COBOL 이전 정확도 5.4%에서 86.6%로 높였다

OpenAI가 10월 23일 공식 글을 내고, 최신 모델이 COBOL, Fortran, Visual Basic처럼 학습 자료가 적은 프로그래밍 언어에서 소프트웨어를 새로 만들고 다른 언어로 옮기는 능력이 크게 좋아졌다고 밝혔다. 자체 COBOL 이전 평가에서 GPT-6.1 Sol은 낮은 추론 강도에서 정확도 86.6%를 기록했다. 같은 설정에서 GPT-5.6 Sol은 5.4%였다.¹

추론 강도를 높이면 GPT-6.1 Sol의 정확도는 97.9%까지 올라, OpenAI는 이 평가가 거의 포화에 가깝다고 설명했다. 낮은 추론 강도로 치른 COBOL 이전 평가에서 GPT-6.1 Sol의 API 비용은 GPT-5.6 Sol의 61%, 즉 39% 저렴했다. OpenAI는 개발자가 쓰는 언어의 코딩 작업에 최신 모델을 API로 시험해 보고 의견을 달라고 안내했다. 출시 지역과 요금제는 이번 글에 나오지 않는다.¹

학습 자료가 적은 언어를 겨냥한 이유

OpenAI에 따르면 이런 언어는 Python이나 JavaScript보다 모델이 배울 코드와 문서가 적다. 그래도 전 세계 핵심 인프라와 필수 서비스를 떠받친다. Fortran은 기상 예보와 원자로 안전 해석에 쓰인다.

이번 작업은 개발자와 기업 고객의 피드백에서 출발했다고 OpenAI는 밝혔다. 코딩 모델이 이런 언어에서 자주 막힌다는 얘기였다. 문서가 불완전하고, 원래 개발자가 회사를 떠났으며, 중요한 업무 규칙이 코드 안에만 남아 있는 경우가 많다. 버그를 고치든 다른 언어로 옮기든 시스템이 의존하는 동작을 그대로 지켜야 한다는 것이 OpenAI의 설명이다.¹

The Verge는 COBOL이 1959년에 등장했다고 전했다. 이 매체는 IBM 설명으로 COBOL이 온라인 뱅킹 시스템의 40% 넘게 기반이 되고, 대면 신용카드 결제의 80%를 뒷받침하며, ATM 거래의 95%를 처리한다고 적었다. 사회보장 시스템, 국세청(IRS), 대부분의 주 정부 서비스 같은 정부 시스템에도 쓰인다는 서술은 The Verge의 것이다. 한 대략적 추정으로는 COBOL의 비효율이 미국 GDP에 연간 약 1,050억 달러의 비용을 낳는다. 이 언어를 아는 프로그래머 상당수는 은퇴했거나 세상을 떠났다.²

OpenAI가 만든 두 가지 평가

OpenAI는 진전을 재려고 벤치마크 두 개를 만들었다. MultiLangBench는 모델이 SQLite와 호환되는 데이터베이스 엔진을 20개 프로그래밍 언어로 처음부터 만들 수 있는지 본다. 모델은 코드베이스를 구성하고, 상태를 관리하고, 오류를 처리하고, 기존 기능을 유지하면서 새 기능을 더해야 한다. 두 번째는 COBOL 이전 평가로, 기존 프로그램을 다른 언어로 옮기면서 동작을 보존하는지 본다. 하나는 새 소프트웨어를 짓는 능력, 다른 하나는 기존 소프트웨어의 동작을 지키는 능력을 잰다.

언어가 달라도 같은 테스트를 적용하도록 데이터베이스 파일을 공통 접점으로 삼았다. 후보 프로그램은 초기 데이터베이스와 SQL 쿼리를 받아 수정된 데이터베이스를 내놓고, 결과 내용이 맞는지는 SQLite 기준 구현으로 검사한다. 테스트는 SQLite의 기존 테스트 모음에서 가져와 이 형식에 맞췄다. 긴 코딩 세션에서 모델이 얼마나 많은 기능을 동작하게 만드는지를 테스트 통과율과 API 비용으로 보고한다. OpenAI는 이 평가 구성과 테스트 모음, 언어별 결과를 GitHub에 공개했다.

COBOL 이전 평가는 COBOL 프로그램을 C++, Java, Kotlin, Python, Rust 중 하나로 옮기게 한다. 금융 거래를 처리하는 프로그램에서는 반올림 규칙과 누락 기록 처리 같은 세부가 곧 업무 요구사항이다. COBOL의 고정소수점 연산은 반올림을 명시하지 않으면 남는 소수 자릿수를 버리는데, 이를 반올림으로 바꿔 쓰면 오류 없이 돌면서도 금융 결과가 달라질 수 있다고 OpenAI는 예로 들었다. 채점은 숨겨 둔 테스트로 하며, 관찰 가능한 출력이 바이트 단위로 같아야 한다. 테스트를 모두 통과해야 성공으로 친다.¹

모델별 결과

MultiLangBench에서 GPT-6 Astra는 최대 추론 강도로 20개 언어 평균 테스트 통과율 87.4%를 기록했다. GPT-5.6 Sol은 26.8%였다. 시험한 모든 언어에서 점수가 올랐고, 20개 언어 중 19개에서 83%를 넘었다. COBOL은 72.1%로 가장 어려운 언어로 남았다.¹

GPT-6 Luna는 비용을 낮춘 선택지다. 최대 추론 강도에서 평균 40.3%를 기록했고, 시험한 모든 언어에서 GPT-5.6 Sol을 웃돌았다. 샘플당 추정 API 비용은 평균 0.77달러로, GPT-5.6 Sol의 3.48달러보다 약 78% 낮다.¹

The Verge는 OpenAI의 자체 시험에서 낮은 추론 강도 기준 GPT-6 Astra가 약 86%, GPT-6 Sol이 21%, GPT-5.6 Sol이 5%를 얻었다고 전했다. 추론 강도는 모델이 답하기 전에 문제를 분석하는 데 쓰는 연산 단계의 양을 뜻한다. 이 매체는 GPT-6.1 Sol이 낮은 강도에서 87%, 높은 강도에서 98%의 동작 보존 정확도를 보였다고 정리했다.²

전문가들이 짚은 한계

The Verge가 취재한 학계 전문가들은 AI가 레거시 코드를 다루는 수준이 최근 몇 년 새 올랐다는 데는 동의했다. 다만 OpenAI가 내세운 성과가 핵심 레거시 시스템을 안전하게 교체하는 일과는 아주 멀다고 말했다. OpenAI 대변인 Oscar Haines는 이메일에서 레거시 코드가 "여전히 해결과는 거리가 먼 문제"라고 인정하고, 개발자와 기업의 의견을 듣고 있으며 더 나은 테스트를 만들고 모델의 코딩 언어 이해를 높일 방법을 찾고 있다고 밝혔다.

트벤테대 소프트웨어 진화 부교수 Vadim Zaytsev는 "코드를 다시 쓰는 것은 시스템을 교체하는 것과 다르다"고 말했다. 그가 본 가장 큰 시스템은 COBOL 2억 5천만 줄이었다. 코드가 여러 언어로 쓰였을 수 있고, 다양한 형식의 데이터와 다른 시스템과의 기술적 연동, 사람과 조직의 기대도 따져야 한다. 그는 현재 AI가 COBOL 시스템의 교체나 이전에서 큰 역할을 하지 못한다고 봤다. 이전 전후의 사소한 동작 차이도 용납되지 않는 경우가 많고, 자동화가 99%를 처리해도 나머지 1%가 곳곳에 흩어진 100만 줄일 수 있다고 지적했다.

델프트공대 소프트웨어공학 교수 Arie van Deursen은 OpenAI의 글이 이전 과제를 거의 설명하지 않아 "피상적"이라고 평했다. 언어 벤치마크도 모델이 학습 중 접했을 법한 시스템과 비슷한, 비교적 단순하고 명확한 과제를 시킨다고 봤다. 그는 유지보수가 현대화보다 훨씬 쉽다며, OpenAI가 쓴 과제가 실제 현대화와는 "수 광년" 떨어져 있다고 말했다. 복잡한 레거시 시스템을 따로 교체할 수 있는 작은 단위로 쪼개는 핵심 난제를 이 평가가 다루지 않는다는 지적이다.

임페리얼칼리지런던 프로그래밍 언어 교수 Alastair Donaldson은 가장 큰 어려움이 코드를 다시 쓰는 일이 아니라 시스템이 어떻게 돌아가는지 이해하는 일이라고 했다. 이런 이해 부족은 COBOL 같은 언어를 쓰는 레거시 시스템에서 "매우 흔하다"는 것이다. 이런 언어로 프로그래밍할 줄 아는 사람이 이제 매우 적다고도 덧붙였다. 그가 제시한 검증법은 같은 업무 흐름을 옛 시스템과 새 시스템에 모두 돌려 동작이 같은지 보는 것이다. AI가 번역 과정을 문서로 남겨 레거시 언어에 밝은 사람이 검토하게 하는 방법도 거론했다.

남덴마크대 Jacopo Mauro 교수는 수학적 기법으로 코드가 올바르게 동작하는지 컴퓨터로 증명하는 형식 검증을 또 하나의 선택지로 들었다. 이 기법은 AI가 만든 수학 결과를 검증하는 데 이미 쓰이지만, 레거시 코드에 적용하려면 "엄청난 작업"이 필요하다고 했다. 그 전까지는 "사람의 검증이 필수"라는 입장이다.²

OpenAI도 공식 글에서 이런 동작 보존 능력이 오래된 시스템을 유지하고 현대화하는 팀에 쓸모 있지만, 실제 운영 소프트웨어에 적용하려면 전문가 검토와 업무 규칙·의존성 대비 테스트가 여전히 필요하다고 적었다.¹

Anthropic의 선행 움직임

Anthropic도 레거시 시스템 시장을 노린다. The Verge에 따르면 Anthropic은 2월에 단계별 "코드 현대화 플레이북"을 내고, 코딩 에이전트 Claude Code로 COBOL을 Java나 Python 같은 현대 언어로 옮길 수 있다고 소개했다. 성능을 보여 주는 벤치마크는 내지 않은 채 "COBOL 현대화의 경제성이 바뀌었다"고 선언했고, 레거시 시스템 유지보수로 수익 일부를 올리는 IBM의 주가는 이 발표 뒤 급락했다. Anthropic은 The Verge의 논평 요청에 마감까지 답하지 않았다.²