Cognition, 코딩 벤치마크 FrontierCode 2.0 공개, 최고 Claude Opus 5.5도 45.5%

코딩 에이전트 Devin을 만든 Cognition이 코딩 성능 평가 FrontierCode 2.0을 10월 27일(현지시간) 자사 블로그에 내놓았다. 공식 리더보드 1위는 Anthropic의 Claude Opus 5.5로 45.5%였고, 평가한 모델은 어느 것도 50%에 닿지 못했다.

채점 기준이 달라졌다. 예전에는 코드가 기능적으로 맞는지를 주로 정확도로 쟀지만, 이번에는 개발자가 AI가 고친 내용을 검토한 뒤 원래 프로젝트에 그대로 합칠 수 있는 수준인지를 본다. 필수 조건을 하나라도 어기면 그 과제는 점수가 없다.

과제 132개는 현업에서 쓰이는 오픈소스 프로젝트에서 가져왔고, 보안 취약점 수정과 성능 최적화처럼 손이 많이 가는 작업이 들어 있다. 1.1 버전과 비교하면 대상 프로젝트 수가 늘었고 고쳐야 하는 코드의 양도 크게 커졌다.

순위표에는 Anthropic의 Claude Opus 5.5와 Sonnet 5.5, OpenAI의 GPT-6 Astra와 GPT-6.1 Sol, Google의 Gemini 4 Carbon이 올랐다. 1.1 버전에서 Opus 5.5는 54.6%, GPT-6 Astra는 53.3%였다. 2.0에서는 각각 45.5%와 42.8%로 내려앉았다. 점수가 낮아진 이유는 과제의 복잡도가 오르고 코드 품질 요구 수준이 높아진 데 있고, 필수 조건을 채우지 못하면 점수를 주지 않는 규정도 적용된다.

명시되지 않은 요구를 놓치는 약점

Cognition은 기존 코딩 벤치마크 점수가 빠르게 올라도 현장에서 AI가 부딪히는 한계는 잘 드러나지 않는다고 지적했다. 주요 모델 4종을 분석한 결과, 필수 평가 항목 중 완결성(Thoroughness) 실패율이 19.2%로 핵심 기능 구현 실패율 14.9%보다 높았다. 완결성은 시킨 일만 끝내는 데서 멈추지 않고, 프로젝트의 기존 코드와 흐름을 읽어 지시문에 없는 필요 사항까지 챙겼는지 따지는 항목이다. 추론 수준을 최대로 높여도 완결성 실패율은 15.3%에 달했다.

Opus 5.5가 자바스크립트 라이브러리 Mock Service Worker의 오류를 고친 과제가 사례로 나왔다. 특정 기능의 초기화 오류는 해결했지만 진행 중이던 작업을 정상적으로 끝내는 처리를 빼먹어, 쓸모없는 자원이 남고 프로그램이 불안정해질 수 있었다. 추론 설정 5가지에 설정마다 5번씩, 모두 25번 시도했으나 기준을 통과한 경우는 없었다. Cognition은 이런 실패가 사소한 코딩 실수라기보다 작업 전반의 맥락을 읽는 능력과 이어져 있다고 분석했다.

추론에 자원을 더 쓴다고 결과가 나아지지도 않았다. Cognition은 필요 이상으로 많은 파일을 건드리거나 기존 설계를 크게 뒤엎는 경우를 확인했다고 밝혔다. GPT-6 Astra는 PostHog(모바일 분석 소프트웨어)의 데이터 전송 순서 과제에서 낮은 추론 수준일 때 5번 모두 성공했지만 최대 추론 수준에서는 5번 중 1번만 성공했다. 성공률이 떨어진 원인은 최대 추론 수준에서 외부에서 쓰던 공개 인터페이스를 지워 다른 프로그램과 맞물리지 않게 만든 것이었다.

Cognition은 AI가 개발자 한 사람 몫을 하려면 시키는 대로만 하지 말고, 빠진 데가 있는 요구를 스스로 풀이하고 프로젝트가 걸어 둔 제약도 직접 파악해야 한다고 주장했다.