CrashGym은 LLM 에이전트가 실험을 해 본 뒤 내린 결정이 나아지는지를 재는 시뮬레이터다. 2026년 10월 21일 arXiv에 논문이 올라왔다. 에이전트에게 실험을 맡기는 사례는 늘고 있지만, 그 실험이 결정을 개선했는지 재는 벤치마크는 드물다는 문제의식에서 출발했다.
새로 표집한 24개 가상 시장(world)을 대상으로 사전에 설계한 연구에서, 완전한 기록을 가진 배포는 Luna 하나뿐이다. Luna는 실험실 접근권을 얻자 평균 후회값이 8.878에서 3.785로 낮아졌다. 쌍체 비교로 5.092 효용 단위가 줄었고, 이 감소폭은 관찰만 했을 때(OBSERVE-ONLY)의 평균 후회값 8.878의 57.4%다. 이 감소폭의 명목 95% 월드 부트스트랩 구간은 1.028~9.507이다.
작동 방식
CrashGym은 결과를 되풀이해 재현할 수 있는 결정론적 지정가 주문장 시뮬레이터다. 에이전트는 충격으로 폭락이 시작될 시장에서 레버리지 축소 개입과 유동성 방어 중 하나를 골라야 한다. 결정 전에는 시장을 본뜬 실험실에서 개입 실험을 조회할 수 있다.
선택의 성적은 따로 시드를 준 목표 시장에서 매긴다. 시뮬레이터가 가능한 모든 개입을 같은 반복 조건에서 직접 돌리므로, 최선의 개입과 비교한 후회값을 사람이나 모델의 판정 없이 계산한다. 가격 충격의 지속, 유동성 이탈, 증거금에 따른 강제 청산, 변화하는 전략 구성 같은 증폭 경로는 각각 명시적인 메커니즘으로 구현했고 단계적으로 켤 수 있다.
한계
Luna 외 두 배포의 사전 지정 비교는 불완전하다. 사전 지정이 아닌 별도의 탐색 연구에서는 네 배포를 평가했고, 네 배포 모두 실험실 접근권이 있을 때 평균 후회값이 낮았다. 전략 구성이 내부에서 스스로 진화하는 실험실은 구성을 고정한 실험실보다 나은 점이 입증되지 않았다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.