Epoch, AI로 자사 업무 대체 점검 결과 공개, 최고 점수 65%

AI 연구 기관 Epoch가 자사 직원이 정기적으로 하는 업무를 AI에 맡겨 평가한 Epoch Automation Reports를 공개했다. 가장 높은 점수를 받은 Claude Fable 5.1과 GPT-6 Astra는 평균 65%였다. 사람 직원을 평가하는 채점 항목 중 65%를 충족했다는 뜻이며, Epoch는 100% 점수가 나와야 해당 업무를 자동화해도 좋다는 뜻이라고 설명했다. Epoch가 뉴스레터에 올린 이 글은 웹사이트에 실린 더 긴 보고서를 요약한 것이다.

이 보고서는 지난 2월 Epoch 선임 연구원 Anson Ho가 자기 업무를 AI로 대체해 보려 한 시도를 넓힌 것이다. Epoch는 당시 AI가 모든 과제에 실패했지만, Ho가 이번 10년 말까지는 그렇지 않을 것이라고 전망했다고 소개했다. 이번 평가 대상은 그래픽 디자인, 연구 프로젝트 기획처럼 Epoch가 정기적으로 하는 과제다. 사람에게 요구하는 기준과 같은 기준으로 AI를 채점했다.

벤치마크와 실제 업무의 간극

벤치마크에서 AI가 사람을 넘어서는 사례가 늘어도 실제 경제적 효과는 더디게 나타나는 것으로 보인다고 Epoch는 밝혔다. Epoch는 이 생산성 역설의 배경으로 벤치마크의 특성 세 가지를 들었다. 벤치마크는 사람이 아니라 과거 AI와 비교해 최첨단 진전을 재도록 맞춰진 경우가 많고, 채점하기 쉬운 과제에 한정되며, AI가 벤치마크에 맞춰 훈련되기도 한다는 것이다. Epoch의 새 평가는 모델이 맥락을 모으고 도구를 쓰며 실제 직원이 겪는 복잡성을 다뤄야 해서 일반 벤치마크보다 작업량이 더 많다.

65%로도 과제는 반려된다

Epoch는 65%가 시간이나 과제 난도 기준으로 자동화의 65% 지점에 왔다는 뜻은 아니라고 밝혔다. 쉬운 채점 항목에서 점수를 얻었을 수 있기 때문이다. AI는 유망한 연구 방향은 내놓았지만 실행 가능한 실험을 설계하는 데는 어려움을 보였다. Epoch에 따르면 GPT-6 Astra가 파일럿 실험을 수행하면서 평가 대상 모델들의 토큰 예산을 너무 낮게 잡아 실행의 22%가 답을 내지 못했다. GPT-6 Astra는 이처럼 설정을 잘못해 생긴 실패를 설정 결함이 아니라 모델 능력에 관한 핵심 발견으로 처리했다.

코딩과 데이터 분석처럼 명확히 정의된 과제는 상대적으로 잘 처리했고, 예시에서 패턴을 읽어내거나 판단이 필요한 열린 과제는 약했다. Epoch의 스타일 예시를 여러 개 주고 그래픽을 만들게 하자 Fable 5.1은 정보를 과하게 욱여넣은 복잡한 그래프를 내놓았다. 같은 과제를 받은 Epoch 디자이너는 깔끔하고 단순한 차트를 만들었다.

Epoch는 사람이 냈다면 모든 과제가 반려되거나 수정을 요구받았을 것이라고 밝혔다. 이런 결과물이 도움은 되어도 사람이 오류를 일일이 평가하고 고쳐야 한다고 했다. Epoch는 65%로는 충분하지 않다는 이 결과가 경제적 효과가 더딘 이유를 설명해 줄 수 있다고 봤다. AI가 계속 발전해 더 많은 과제에서 100% 문턱을 넘으면 사람이 그 과제를 AI에 넘기게 된다는 것도 Epoch의 설명이다.

이번 평가에서는 이미 한 과제가 이런 경우에 해당했다. Epoch는 기본 차트 생성 과제 1개를 평가에서 제외했다. Fable 5.1이 대체로 한 번에 수용 가능한 차트를 만들기 때문이다. Epoch는 이 단계를 일상 업무에서 부분적으로 자동화했다.