RealtimeBench 공개, 게임이 멈추지 않을 때 에이전트 성능 순위 뒤집혔다

연구진이 추론하는 동안에도 게임이 계속 진행되는 조건에서 에이전트를 평가하는 벤치마크 RealtimeBench를 공개했다. 6개 게임 유형에 걸친 180개 과제로 구성했고, 게임을 멈추고 평가할 때와 계속 흐르게 둘 때의 성능을 짝지어 비교한다.

비교 결과 게임을 멈춘 조건에서는 GPT-6.1-sol이 더 빠른 모델 Jev보다 성적이 좋았다. 게임이 계속 진행되는 조건에서는 순위가 뒤집혀 GPT-6.1-sol이 Jev에 뒤처졌다. 연구진은 대규모 언어 모델(LLM) 에이전트가 복잡한 상호작용 과제를 풀 수 있어도 추론과 도구 호출에 시간이 걸려, 맞는 행동이 너무 늦게 도착할 수 있다고 지적했다.

느린 교사가 빠른 학생을 가르치는 TORSI

연구진은 Two-Timescale Offline Recursive Self-Improvement(TORSI)라는 방법을 함께 제안했다. 느린 교사 모델이 시도 사이에 멈춘 게임에서 실패 원인을 살피고 수정안을 시험한 뒤, 빠른 학생 모델이 쓸 재사용 지침을 작성한다. 학생은 게임 중에 교사를 호출하지 않고 행동하며, 검증 점수가 어떤 갱신을 채택할지 정한다.

두 차례 갱신하자 Jev의 평균 테스트 점수가 0~100 진행도 척도에서 13.51에서 24.19로 올랐고, 6개 게임 유형 모두에서 개선됐다. 같은 지침을 다시 조정하지 않고 다른 모델 3종에 적용했을 때도 이들 모델의 평균 점수가 개선됐다. 연구진은 깊이 생각하는 일, 학습, 행동을 서로 다른 시간 단위로 나누어 변하는 환경에서 강력한 에이전트가 효과를 유지하게 하는 방향을 실시간 지능이라고 불렀다.