SemiAnalysis, GDPx 벤치마크 공개, 최고 모델 점수 12%

반도체 시장조사 업체 SemiAnalysis가 프런티어 모델의 에이전트 역량을 가치 높은 분야별로 재는 벤치마크 GDPx를 공개했다. 칩 설계, 사이버보안, 생물학, 금융, 법률, 퀀트 트레이딩 등 11개 분야를 다루며, 가장 높은 모델도 전체 점수가 12%에 그쳤다.

Opus 5.5와 GPT-6 Astra는 안전 분류기가 작동한 탓에 전체 점수가 낮게 나왔다고 SemiAnalysis는 밝혔다. 분류기가 개입할 수 있는 사이버보안, 생물학, 정렬 세 분야를 빼면 순위가 달라진다. 결과는 GDPx 공식 웹사이트에서 직접 볼 수 있다.¹

11개 분야와 설계 방식

SemiAnalysis는 AI 매출 첫 1조 달러가 경제 전반에 퍼지기보다 높은 투자수익률로 프런티어 지능을 쓸 수 있는 분야에 몰릴 것이라고 본다. 그래서 GDP 비중이나 SOC/O*NET 직업 분류에 맞춘 범용 벤치마크는 잘못된 접근이라고 주장하며, 정부·부동산·보험은 일부러 제외했다. 포함한 분야는 칩 설계, 사이버보안, 생물학, 금융, 법률, 퀀트 트레이딩, 재귀적 자기 개선(RSI), 하드웨어 설계, 소재 과학, 정렬, 소프트웨어 엔지니어링이다.

과제는 분야별 전문 RL 환경 스타트업 14곳이 만들었다. 칩 설계는 Aria, Arcverex, Ergodex, 사이버보안은 Arithmetic, 생물학은 Latch Bio, 금융은 Living Context, 법률은 Chakra, 퀀트 트레이딩은 Third Moment, RSI는 Extrapolate, 하드웨어 설계는 Beautiful Machines, 소재 과학은 ValenceForge와 Emulated, 정렬은 Fleet, 소프트웨어 엔지니어링은 Datacurve가 맡았다. Fireworks가 오픈 소스 모델 추론을, Modal이 과제 실행용 샌드박스 인프라를 제공했다.

SemiAnalysis는 RL 환경 업체 30곳 이상에 접촉해 같은 자동 품질 검사를 적용했다. 일관성, 완결성, 부정행위, 불공정한 검증기 등을 보는 검사다. 파트너는 첫 시도에 이 검사를 (사소한 오류만 남기고) 통과해야 했고, 통과하지 못한 업체는 이름을 밝히지 않은 채 탈락시켰다. 같은 검사를 Terminal Bench 4.0에 돌리면 과제의 50% 가까이가 결함으로 표시된다고 한다.

과제 기본 제한 시간은 8시간이다. 모델은 가능하면 자체 하네스로 돌렸다. Opus 5.5는 Claude Code, GPT-6 Astra는 Codex, Gemini 4 Carbon은 Antigravity를 썼고, 자체 하네스가 없는 모델은 OpenCode를 썼다. 대표 점수는 세 번 시도한 Pass@1이며, 모든 분야의 가중치가 같고 한 분야에 파트너가 여럿이면 파트너끼리도 같다.¹

모델별 결과

SemiAnalysis는 OpenAI와 Anthropic 모델이 상위권을 차지하고 SpaceXAI, Meta, 오픈 웨이트 모델은 한참 뒤처졌다고 밝혔다. Gemini 4 Carbon은 Opus, Astra와 같은 수준에 든 유일한 모델이며, 일반 공개 후 평가가 기대된다고 했다. 비용 대비 성능에서는 Luna와 DeepSeek가 저가 구간을, Opus가 고가 구간을, OpenAI가 중간 구간을 차지했다.

Opus 5.5는 종합 최고 모델로 퀀트 트레이딩, 하드웨어 설계, 칩 설계에서 1위였다. Gemini 4 Carbon은 생물학 최고이고 소프트웨어 엔지니어링에서 근소하게 앞섰는데, SemiAnalysis는 안전 분류기가 약한 영향으로 추정했다. GPT-6 Astra는 RSI에서 압도적이었고 소재 과학에서도 1위였다. 금융과 법률 과제는 너무 어려워 사실상 모든 모델이 이진 채점 기준으로 정확히 0점이다. 사이버보안은 현재 이용할 수 있는 모델 중 Muse Wonder Full이 의미 있는 격차로 가장 낫다고 했다.¹

Anthropic은 Opus 5.5 공식 발표에서 이 모델이 생물학과 사이버보안 안전장치를 적용해 출시됐다고 밝혔다. 안전장치가 개입하면 사이버 작업은 Opus 4.8이, 생물학과 프런티어 LLM 개발 작업은 Opus 5가 대신 처리하며, Anthropic은 벤치마크 결과 각주에서 이것이 Opus 5.5의 벤치마크 성능을 낮췄을 가능성이 높다고 설명했다.²

OpenAI GDPval과 무엇이 다른가

SemiAnalysis는 GDPval이 2025년 9월 25일 공개돼 1년이 넘었는데도, GDPval AA v2.1 같은 파생 벤치마크와 함께 새 모델 카드에 가장 많이 실리는 범용 벤치마크라고 지적했다. 과제마다 필요한 맥락을 프롬프트에 모두 넣어 주고 한 번에 결과물을 내게 하므로, 자료를 찾아 모으는 과정이 빠져 있다고 비판했다. 평가자 간 일치율은 전문가 골드 부분집합에서 71%에 그쳤고 자동 채점기는 이보다 더 나빴다. 루브릭 오류와 틀린 정답 풀이, 시점이 지나 깨진 링크도 문제로 꼽았다. 다만 당시로서는 인상적이었다며 OpenAI의 잘못은 아니라고 덧붙였다.

GDPx 과제는 모두 현실적인 환경에서 수행한다. 금융 과제는 사모펀드 Brannock Capital이 Haverly Snack Company 지분 약 62%를 8억 8,000만 달러와 조건부 추가 대금으로 사는 거래를 재현했고, 파일 약 4,000개가 들어 있다. 사이버 과제는 Arithmetic이 찾은 실제 제로데이를 바탕으로 하고, 하드웨어 과제는 Siemens NX 세션과 AWS FPGA 인스턴스를 쓴다.¹

분야별로 드러난 약점

금융은 공개 과제 Bellwood-QoE에서 25회 시도 중 푼 모델이 없었다. GPT 6.1 Sol이 11개 점검 중 평균 5.6개, Opus 5.5와 GPT-6 Astra가 5.4개를 통과했고, 최고 단일 시도는 11개 중 8개를 통과했다. 법률 공개 과제 quillon-series-b-redline에서는 4개 모델 20회 시도 중 쓸 만한 수정안이 없었고, 평균 부분 점수는 Opus 5.5가 44%, Astra 25%, Gemini 4 Argon 2%, GLM-5.3 0.5%였다.

퀀트 트레이딩은 채점된 111회 중 70회가 기준 전략보다 못했다. 공개 과제 aapl-target-winsorization에서 Opus 5.5가 평균 0.31로 가장 높았고, 최고 단일 시도는 0.69였다. 소프트웨어 엔지니어링의 Git-LFS 과제는 25회 시도 모두 실패했다. 사이버 정렬 과제는 200회 중 196회(98%)가 행동 규칙을 하나 이상 어겼고, 173회(87%)는 심각한 위반으로 분류된 규칙을 어겼다. 보험 정렬 과제는 60회 중 54회가 치명적 위반을 했고, 의료 정렬 과제는 100회 중 19회만 0점을 넘었다.

하드웨어 설계 공개 과제에서는 GPT-6 Astra, Opus 5.5, Grok 4.7, GLM 5.3이 3회씩 총 12회 시도해 검증된 완전 통과가 없었다. 칩 설계 Ergodex의 vt01 과제에서는 Astra가 평균 0.34로 가장 높았고 Claude Opus와 Fable은 0.135와 0.07이었다. RSI 과제에서는 Opus 5.5, Astra, Gemini 4 Argon, GLM 5.3 모두 고전했다.

SemiAnalysis는 GDPx를 3~6개월마다 새 버전으로 내는 살아 있는 벤치마크로 운영한다고 밝혔다. 참여하려는 데이터 업체나 다음 모델 평가를 원하는 연구소는 gdpx@semianalysis.com으로 연락하면 된다.¹