LG AI연구원, 에이전트가 문제를 만드는 동적 평가 ATAD 공개

LG AI연구원이 고정된 문제 묶음 대신 AI 에이전트들이 문제를 만들고 거르며 난이도를 높여 가는 평가 방식 ATAD(Agent-Centric Text Anomaly Detection)를 제안했다. 평가 대상 모델의 능력에 맞춰 문제가 달라지는 프로토콜로, 정적 벤치마크의 성능 포화, 데이터 오염, 짧은 수명이라는 한계를 풀기 위해 만들었다.

논문 「From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning」은 ICLR 2026 메인 컨퍼런스에 채택돼 발표됐다. ICLR 2026은 4월 23일부터 27일까지 브라질 리우데자네이루에서 열렸고, LG AI연구원은 11월 5일 블로그에 이 내용을 소개했다. LG AI연구원은 코드와 데이터의 공개 여부, 요금을 밝히지 않았다.

세 에이전트가 문제를 다듬는 구조

ATAD에서는 Teacher, Orchestrator, Student 세 에이전트가 문제 생성, 검증, 풀이를 반복한다. 평가 과정 자체가 모델 능력에 맞춰 진화하는 것이 고정 데이터셋 평가와의 차이다.

• Teacher(출제자)는 기본 문제를 만들고, Student가 맞히면 풀이를 분석해 더 어려운 변형 문제를 만든다.
• Orchestrator(검증자)는 논리적 일관성, 명확성, 공정성을 검증한다. 모호하거나 부적절한 방식으로 난이도를 올린 문제는 막고, 기준에 못 미치면 Reject해 Teacher가 다시 만들게 한다.
• Student(풀이자)는 검증을 통과한 문제를 푼다. Student가 틀리는 시점의 문제를 최종 벤치마크 항목으로 확정하는데, 논문은 이를 Failure-Driven Sample Finalization이라 부른다.

과제는 텍스트 이상 탐지 7종(T1~T7)이다. 표면 패턴 매칭으로는 풀 수 없고 문장 사이의 논리를 추론해야 하도록 설계했다. T1은 문장이 문맥에서 의미상 벗어난 경우, T5는 지시어나 대명사가 모호한 경우, T7은 문체와 톤이 맞지 않는 경우다.

LG AI연구원은 수식이나 정해진 답이 없는 텍스트 이상 탐지를 스트레스 테스트로 골랐다. 난이도를 높이면 정답이 모호해지고, 명확하게 만들면 너무 쉬워지는 상충이 생기기 때문이다.

기존 문제는 테니스 챔피언의 부상 기권을 다룬 글에 'OPEC 발표로 석유 가격 하락'이라는 문장을 끼워 넣는 식이었다. 정답은 분명하지만 최신 LLM에는 너무 쉽다. ATAD 문제는 'AI가 헬스케어를 혁신한다'는 글에서 치료 계획 최적화, 실시간 바이탈 모니터링 같은 기술 혜택을 늘어놓다가 갑자기 AI 윤리 문제를 꺼내는 미묘한 주제 전환을 담는다.

Orchestrator의 역할을 보여 주는 사례도 있다. 처음 문제는 모든 문장이 주제와 관련돼 있어 이상 문장이 불분명했고, Orchestrator가 이를 Reject했다. Teacher는 피드백을 반영해 전체 문맥과 자연스럽게 이어지면서도 의미상 오류가 분명한 문제로 고쳤다.

실험 결과

평가 대상은 GPT-4o, Claude-3.5-Sonnet, Gemini-2.0-Flash 등이다. GPT-4o, Gemini-2.0-Flash, Claude-3.5-Sonnet, LLaMA-3.3-70B는 각각 벤치마크 생성(Benchmark Generation)에 쓰였고, 품질 평가(Reviewer)는 GPT-4o와 Claude-3.5-Sonnet이 맡았다.

이 네 모델을 각각 벤치마크 생성에 썼을 때 모두 Base 문제에서 Final 문제로 넘어가며 정확도가 일관되게 감소했다. 논문 전체 기준으로 Base 문제 대비 Final 문제의 성능 감소폭은 약 21.3~33.9%다. 일곱 과제 모두에서 일관되게 1위인 모델은 없었고, 평균이 높은 모델도 특정 과제에서는 낮은 성적을 냈다. 동일한 에이전트 설정으로 반복 생성하고 평가했을 때는 샘플 수가 늘어도 모델 평균 성능이 비교적 안정적이었다.

Approval Rate는 벤치마크로 적절하다고 판단된 문제의 비율이다. Claude-3.5-Sonnet을 Reviewer로 썼을 때도 같은 경향이 나타났다.

모델이 많이 틀린다고 좋은 벤치마크는 아니다. 정답이 모호하거나 복수이거나 논리에 결함이 있어도 정답률이 떨어질 수 있어, 낮은 성능이 인위적인 난이도에서 나왔을 가능성이 있다. GPT-4o 평가 정확도는 Orchestrator가 없을 때 68.29%로 있을 때의 72.43%보다 낮아 더 어려운 문제처럼 보이지만, 품질 지표는 오히려 더 나빴다. Orchestrator가 없을 때 Validity는 4.30, Coherence는 3.71, Fairness는 3.20, Approval Rate는 38.14%였다.

정적 벤치마크의 한계와 남은 과제

MMLU와 GSM8K 같은 정적 벤치마크에서는 모델이 인간 수준을 넘어섰다. LG AI연구원은 정적 평가의 한계로 네 가지를 든다. 성능이 포화돼 변별력을 잃는 것, 사전 학습에 평가 데이터가 섞여 리더보드 점수가 부풀려지는 데이터 오염, 특정 포맷에 맞춘 튜닝으로 점수만 오르는 포맷 과적합, 새 벤치마크를 만드는 데 드는 시간과 자원 탓에 수명이 짧은 것이다.

기존 동적 벤치마크는 문제를 생성하고 확장하는 수준에 머물렀다. ATAD는 세 에이전트의 상호작용과 Orchestrator의 전담 검증으로 난이도를 올리는 중에 명확성이 떨어지고 모호성이 커지는 일을 막고, 모델의 맹점(Blind Spots)을 정밀하게 드러낸다고 연구팀은 설명했다.

새 데이터셋을 한 번 구축하는 것이 아니라 모델 발전에 맞춰 문제 난이도와 품질을 계속 조정하는 프로토콜이라는 점이 핵심 개념이다. 더 강한 모델이 Student를 맡아도 난이도를 다시 올릴 수 있어, 모델과 벤치마크가 함께 진화하는 Model-Benchmark Co-evolution을 목표로 한다. LG AI연구원은 모델이 발전할 때마다 벤치마크를 처음부터 다시 만드는 방식에서 벗어나, 최종 점수 하나가 아니라 모델이 어떤 추론 능력을 갖췄고 어디서 실패하는지 살피려 한다.

검증은 텍스트 이상 탐지에 한정됐고, 다른 영역으로 넓히는 일은 향후 과제로 남았다. 평가한 모델도 GPT-4o, Claude-3.5-Sonnet, Gemini-2.0-Flash, LLaMA-3.3-70B 등 비교적 이전 세대 중심이다. 확장 후보로는 수학적 추론, 코드 검증, Tool-Use, 멀티모달 추론을 들었다.

보강 방향으로는 Teacher에 외부 문서와 지식을 줘 도메인 특화 문제를 만들게 하는 것, Orchestrator에 RAG나 별도 Verifier를 결합해 사실과 논리 검증을 정교하게 하는 것이 제시됐다. 후속 연구로는 Meta-Agent로 더 좋은 Teacher와 Orchestrator를 자동으로 찾고 역할과 상호작용을 최적화하는 것, 에이전트 기여도를 게임이론으로 분석하는 것이 제안됐다. 현재는 사람이 역할과 워크플로를 설계한다.