Anthropic의 새 모델 Fable 5.2가 Scale Labs와 Center for AI Safety(CAIS)의 Remote Labor Index(RLI)에서 실제 프리랜스 과제의 41.3%를 의뢰인이 받아들일 만한 품질로 끝내 1위에 올랐다. 이 벤치마크는 AI 에이전트가 돈을 받는 일감을 얼마나 해내는지 재는 시험이다.
2위는 Anthropic의 Opus 5.5로 21.25%, 3위는 OpenAI의 GPT 6 Astra로 20.83%다. Fable 5.2의 성공률은 시장의 차순위 모델들보다 거의 두 배 높다. Google의 최고 모델 Gemini Argon 4는 17.08%로 5위이고, GPT-5.2나 Gemini 3 Pro 같은 이전 모델은 3% 아래다.
출시 당시 최고 2.5%에서 41.3%로
약 1년 전 RLI가 처음 나왔을 때 최고 시스템이던 Manus는 과제의 2.5%를 해냈다. Fable 5.2는 그보다 16배 넘는 전문가급 결과물을 내놓았다. 7월에는 같은 계열의 Fable 5가 약 16%로 선두였는데, 이미 8개월 사이 최고 에이전트의 전문가급 완료 비율이 4배 넘게 뛴 수치였다. 그로부터 4개월 뒤 Fable 5.2는 41.3%를 기록해 Fable 5의 7월 점수보다 약 2.5배 높았다. 직전 버전 Fable 5.1은 18%에 조금 못 미친다.
Scale Labs는 X에서 Fable 5.2가 오디오·음악 편집, 건축·인테리어 설계, 3D 모델 제작에서 가장 크게 올랐다고 밝혔다. 이전 상위 모델이 번번이 실패하던 길고 복잡한 프로젝트도 처리한다. Fable 5.2가 성공한 과제 가운데 50건 가까이는 시험에서 이전에 어떤 AI 에이전트도 풀지 못한 것이다. Scale Labs에 따르면 다른 과제도 AI는 아직 거의 처리하지 못하며, 특히 산업 제품 디자인과 애니메이션이 그렇다. 연구진에 따르면 에이전트가 실패할 때는 아마추어 수준의 결과, 미완성 결과물, 깨진 파일, 서로 모순된 설계를 내놓는 경우가 많다.
RLI는 어떻게 측정하나
RLI 논문의 데이터셋은 Upwork에서 검증된 전문가 358명이 끝낸 프로젝트 240건으로 이루어졌고, 총 가치는 약 14만 4,000달러다. 프로젝트 하나는 평균 632.60달러, 사람 프리랜서 기준 평균 29시간 가까이 걸린다. 영상 편집, CAD 설계, 게임 개발, 데이터 분석 등이 포함된다.
AI 에이전트에게는 Blender, GIMP, Audacity 등 일반적인 전문 소프트웨어와 이미지·오디오·영상 생성용 AI 도구가 갖춰진 가상 작업 공간이 주어진다. 성공 여부는 훈련받은 전문가가 직접 가린다. 제출 파일을 해당 전문 소프트웨어로 열어 사람 프리랜서의 납품물과 나란히 비교한다.
CAIS는 이 검수를 다른 AI로 자동화하려 했지만 아직 성공하지 못했다. AI 검수자가 전문 소프트웨어를 거의 다루지 못해 겉만 번듯하고 기술적으로 결함이 있는 제출물에 속고, 모델을 지나치게 후하게 평가하기 때문이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
