UNIST 마르보 학습법, AI 웨어울프 승률 24%p 높였다

UNIST(울산과학기술원) 인공지능대학원의 한승열 교수 연구팀이 AI가 게임 상대의 정체를 먼저 추리하고 그 추리에 따라 발언과 행동을 정하도록 가르치는 학습법 '마르보(MARBO, Multi-Agent Relational Belief Optimization)'를 개발했다. 대형언어모델 기반 AI가 대상이다. 연구팀은 이 방식으로 훈련한 모델이 웨어울프 게임에서 기존 학습법보다 승률이 24%포인트 높았다고 11월 1일 밝혔다.

AI 에이전트 여러 개가 협력과 경쟁을 오가는 환경에서는 서로 속이는 일이 생긴다. 마르보는 그런 환경에서 에이전트가 상대의 정체와 의도를 읽고 자기 목표에 유리하게 움직이도록 하는 데 초점을 둔다. 한승열 교수는 정보가 불완전하거나 일부가 거짓이어도 상대의 역할과 관계를 추론해 알맞게 판단하게 하는 기술이라고 설명했다.

게임 두 종류에서 승률이 올랐다

웨어울프의 65.6%는 매개변수 70억 개 모델이 서로 다른 AI 상대 다섯 종류와 대결해 얻은 평균이다. 매개변수가 2배인 모델을 기존 학습법으로 훈련했을 때의 승률 64.0%보다도 마르보를 적용한 70억 개 모델의 65.6%가 높았다.

검증에 쓴 두 게임은 모두 마피아 게임의 한 갈래다. 마피아 게임은 참가자마다 가진 정보가 달라 거짓말이 통하고, 숨은 정체를 추리해야 하는 사회적 추론 게임이다. 웨어울프는 시민 틈에 섞인 늑대인간을, 어몽어스는 우주선 임무를 훼방 놓는 배신자를 가려내는 설정이다.

정체를 맞힌 경우에만 보상한다

훈련은 쌓아 둔 대화와 행동 기록으로 상대의 역할과 같은 편인지를 추리하는 단계에서 시작한다. 이때 AI가 내린 상대 정체와 관계의 추정을 연구진은 '관계적 믿음'이라 부른다. 함께 참가하는 AI의 조합은 무작위로 계속 바뀌어, 모델이 여러 상황을 겪는다.

기존 방식은 추리가 틀려도 결과가 우연히 유리하면 좋은 점수를 주어 그 선택이 반복됐다. 마르보는 정체 판단이 맞고 그에 따른 행동도 목표에 유리했을 때만 높게 평가해, 이런 우연한 성공을 걸러낸다.

발언도 따로 학습한다. 상대가 자기를 어떤 존재로 보는지를 감안하고, 말이 상황에 맞는지에 더해 그 말을 들은 상대의 생각이 자신에게 유리하게 달라졌는지도 살핀다.

발표와 활용 전망

논문은 자연어 처리(NLP) 분야 국제학술대회 EMNLP(Empirical Methods in Natural Language Processing)에서 공개됐다. 올해 행사는 10월 24~29일 헝가리 부다페스트에서 열렸다. 연구에는 황예찬, 배상준 연구원이 참여했고, 과학기술정보통신부 산하 정보통신기획평가원과 한국연구재단이 지원했다.

한승열 교수는 이 기술이 다중 로봇이나 자율 드론, 인간과 AI의 협업 같은 분야로 넓어질 수 있다고 말했다. 참여자들이 서로의 상태와 의도를 알아채며 손발을 맞춰야 하는 시스템의 신뢰도와 적응력을 끌어올리는 바탕이 된다는 것이다.