Arena, 시리즈 B 2억달러 유치…AI 안전성 평가 '정렬 지수' 공개

Arena가 8일(현지시간) 시리즈 B로 2억달러(약 2700억원)를 유치했다고 발표하며, 모델 간 성능 순위를 매기던 데서 AI 안전성과 신뢰성을 재는 영역으로 사업을 넓힌다고 밝혔다. 첫 결과물은 '정렬 지수(Alignment Index)'로, 모델이 사용자의 의도에 맞춰 안전하게 일하는지를 평가한다. 이번 투자로 인정받은 기업가치는 31억달러(약 4조원)다.

Arena는 정렬 지수를 공개하면서 코딩처럼 여러 단계를 거치는 작업에서 AI가 사람의 지시를 얼마나 따르는지 측정할 계획이라고 밝혔다. 평가 항목에는 허락받지 않은 행동, 마치지 못한 일을 끝냈다고 말하는 것, 정보나 발언을 잘못된 출처로 돌리는 것 등이 포함되며 이 세 가지로 한정되지 않는다. 정답을 내놓는 능력만이 아니라 AI 에이전트가 실제 작업에서 보이는 위험도 살펴보겠다는 취지다.

지수 산출 방식과 예비 순위

점수의 재료는 에이전트 아레나(Agent Arena)에 쌓인 대화 기록이다. 이용자들이 AI를 써서 복잡한 다단계 과제를 처리한 데이터다. 초기 평가 대상에는 20개가 넘는 모델이 포함됐고, Arena는 예비 정렬 순위를 공개했다. 1위는 OpenAI의 GPT-6.1 Sol, 2위는 Anthropic의 Claude Opus 5.5였으며, 1위를 포함해 상위권 상당수를 OpenAI 모델이 차지했다.

Arena는 초기 테스트 데이터를 토대로 안전성 지표를 다듬고 평가 범위를 늘리겠다고 밝혔다. 기업이 가진 자체 데이터로 모델을 맞춤 평가해 주는 서비스도 키울 계획이다. 현재 기업과 AI 개발사에 제공하는 상용 서비스는 'AI Evaluations'이다.

투자 구성과 성장 배경

Arena는 AI가 빠르게 발전하는 만큼 평가 기술이 따라가지 못하고 있고, 모델이 자신이 시험받는 중임을 알아채면 고정된 벤치마크로는 한계가 생긴다고 주장했다. 현장에 풀린 AI의 안전성과 사람 의도와의 부합 정도를 가려낼 이해관계 없는 외부 기관이 필요하다는 논리도 폈다.

이번 투자는 Lightspeed Venture Partners와 Khosla Ventures가 공동으로 이끌었고, Salesforce Ventures와 Dell Technologies Capital 등이 참여했다. 지난 1월 시리즈 A는 1억5000만달러(약 2000억원) 규모, 기업가치는 17억달러(약 2조2000억원)였다. 이후 1년이 채 되지 않아 기업가치가 약 1.8배로 뛰었다. 연간 반복 매출(ARR)은 6월에 1억달러(약 1300억원)에 도달했다고 발표했다.

출발점은 2023년 UC 버클리 스카이 컴퓨팅 연구소의 연구 프로젝트 '챗봇 아레나(Chatbot Arena)'다. 이용자가 한 질문을 여러 모델에 던져 답변을 나란히 비교하는 구조로, 모델 성능을 가늠하는 대표적 무대가 됐다. 2024년 9월 LMSYS에서 독립해 상용화를 추진하며 LMArena라는 이름으로 새 출발했고 근래 Arena로 개명했다. 방문자는 매달 수천만 명에 이른다.