Anthropic 공동창업자 잭 클라크는 AI가 스스로 후속 모델을 개발하는 재귀적 자기 개선(RSI)이 이르면 2027년에 가능해질 수 있다고 본다. 이전에는 2028년을 예상했다. AI가 실험을 스스로 설계하고 결과를 해석하는 능력을 재는 벤치마크 TasteVal이 나왔고, The Decoder는 클라크가 이 수치를 바탕으로 전망을 바꿨다고 전했다.
다만 TasteVal은 AI가 이미 스스로 개선하고 있다는 증거가 아니다. 과학 연구의 좁은 일부만 측정한다. TasteVal을 만든 P-Zero Research는 측정 대상을 "연구 취향"이라 부른다. 시험한 모델 중 최고 성적을 낸 모델이 비교 집단인 전문가 24명을 능가했고, 비용은 그 일부에 그쳤다. 클라크는 뉴스레터 Import AI를 쓰고 있다.
TasteVal이 재는 것
P-Zero Research는 연구 취향을 세 가지 능력으로 정의한다. 가치 있는 연구 질문을 고르는 일, 그 질문에 답할 실험을 설계하는 일, 결과를 올바르게 해석하는 일이다. TasteVal은 뒤의 두 가지만 시험한다. 어떤 연구 방향이 유망한지 고르는 일은 흔히 과학적 직관의 핵심으로 꼽히지만, 이 벤치마크에서는 방향이 모델에 미리 주어진다.
과제는 여덟 개다. 각각 AI 모델 개발의 고정된 연구 목표와 측정 가능한 점수를 갖고 있으며, 학습 데이터 선택, 언어 모델의 사전 학습과 미세 조정, 사람 선호를 이용한 학습, 적대적 프롬프트 방어 등을 다룬다. 모델은 다음에 어떤 실험을 할지 정하고 그 결과를 바탕으로 다음 단계를 이어 간다. 코딩 실력이 결과를 흔들지 않도록 고정된 코딩 에이전트가 NVIDIA H100 GPU 한 장에서 모든 실험을 돌린다. 각 실행은 GPU 40시간 또는 실제 경과 120시간에서 끝난다.
비교 집단은 최근까지 OpenAI, Google DeepMind, NVIDIA, Microsoft Research 등에서 일한 전문가 24명이다. 같은 과제를 과제마다 두 명 이상이 풀었고, 과제별로 가장 좋은 사람의 결과가 기준이 됐다.
연산량으로 환산한 연구 취향
P-Zero Research는 연구 취향을 연산 효율로 바꿔 수치화했다. 실험용 연산 자원은 AI 연구에서 부족하고, 실험을 잘 고르고 결과를 정확히 읽을수록 같은 예산으로 더 멀리 간다는 논리다. 이 연구소의 "AI Futures Model"은 코딩이 자동화되면 실험 연산이 가장 큰 병목이 된다고 예측한다. 전문가 점수에 도달하는 데 필요한 연산이 절반이면 연구 취향은 두 배로 본다. 이 비율이 연산 배수(compute multiplier)다.
최고 점수를 낸 Anthropic의 Opus 5.5는 연산 배수 2.3으로, 절반 미만의 연산으로 전문가 수준 점수에 닿았다. 통계적 범위는 1.15에서 4.37까지로 넓다. 범위 하단인 1.15에서는 모델이 간신히 앞서는 수준이다. 1회 실행 비용은 전문가 시도 평균의 약 30분의 1이었다.
클라크에 따르면 이 능력은 2025년 12월 이후 약 3개월마다 두 배로 늘었다. 여러 세대의 모델에서 연산 배수가 이 속도로 커졌지만, 보고된 배가 시간의 범위는 1.7개월에서 5.0개월로 불확실성이 크다. 이전 몇 년은 증가 속도가 훨씬 느렸고, 곡선은 2025년에서 2026년으로 넘어갈 무렵 가팔라졌다.
클라크의 수정 전망과 한계
클라크는 창의성을 AI의 자기 개선 속도를 좌우하는 요인으로 오래 꼽았다. 올해 초에는 모델이 이 능력을 돌파구라 할 만한 규모로 보인 적이 없다고 썼다. 지금은 수학 분야의 돌파와 TasteVal 같은 벤치마크를 변화의 신호로 든다. 5월의 긴 에세이에서는 더 신중한 수치를 냈다. 독립적으로 더 강한 후속 모델을 학습시키는 시스템이 2028년 말까지 나올 확률을 약 60%, 2027년까지는 30%로 봤다. 이번 전망은 이 수치보다 시점을 앞당긴 것이다.
결과를 그대로 받아들이기 어려운 이유가 있다. 과제는 빠르고 싸게 검증되는 유형이어서 AI 연구소가 가장 최적화하기 쉬운 종류다. 비교 집단에는 최상위 연구자도 없었다. 저자들 스스로 결과가 연구 취향이 향상되는 속도를 과대평가했을 수 있다고 인정했다. 단일 벤치마크로는 이 추세가 지속될지 판단할 수 없다. The Decoder는 이 전망을 내놓은 클라크가 벤치마크 1위 모델을 만든 회사의 공동창업자라서 예측에 편향이 더해진다고 지적했다.
AI 연구자 허비 브래들리는 클라크의 5월 에세이에 반박했다. 모델이 초급 연구자의 일을 넘겨받을 수는 있어도 연구 취향, 창의성, 일관된 장기 연구 계획 같은 고난도 기술은 보이지 않는다는 주장이다. TasteVal은 실험을 계획하고 평가하는 부분에서는 이 평가와 배치되지만, 장기 연구 의제를 고르는 일은 다루지 않는다.
실제 현장의 격차는 푸단대 연구진이 이끈, AI 에이전트를 활용한 AI 개발 연구에서 드러난다. 연구진이 자체 모델 개발 과정을 분석했더니 AI 에이전트가 방법론 제안의 최대 55%를 냈지만 최종 결정의 85% 이상은 사람이 내렸다. 저자들은 결과가 나오기 전에 AI가 다양한 연구 방향을 만들고 그 가치를 평가하는 방법이 아직 불분명하다고 적었다. The Decoder는 이것이 TasteVal이 모델에게 맡기지 않은 종류의 결정이라고 짚었다.
자기 개선을 둘러싼 논쟁은 주요 연구소들이 먼저 불붙였다. Anthropic은 6월 재귀적 자기 개선이 아직 달성되지 않았으나 "대부분의 기관이 대비된 것보다 빨리 올 수 있다"고 썼다. Anthropic의 Dario Amodei CEO는 현재 AI 개발 속도를 통제된 방식으로 늦추라고 요구하고 있다. OpenAI는 완전 자율 RSI가 아직 일어나지 않았다고 인정하면서 사람의 감독이 보장될 때만 추진해야 한다고 밝혔다.
TasteVal은 수학 문제나 코딩 과제처럼 잘 정의된 문제를 얼마나 푸느냐에서 연구를 앞으로 밀고 가는 결정을 내릴 수 있느냐로 평가 초점을 옮긴다. 다른 시험에서도 같은 추세가 확인되면 AI 개발은 빨라지고 싸질 수 있다. 반면 모델이 자기 실험을 스스로 계획하고 평가하는 비중이 커져 연구의 더 많은 부분을 사람이 검증하기 어려워진다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.