연구진, 소형 모델 에이전트용 BIRD-RL 공개…학습 공간 효율 12.8배 개선

BIRD-RL은 SQL 디버깅처럼 데이터베이스 상태가 계속 바뀌는 작업에서 소형 언어 모델 에이전트를 강화 학습으로 훈련하는 방법이다. 연구진은 공간 RL 효율이 12.8배 개선됐고, Kubernetes 없이도 대규모 학습이 가능하다고 밝혔다.

논문은 2026-10-21 arXiv에 올라왔다. 연구진은 기존 에이전트 강화 학습 틀이 도구 호출 중심이라 데이터 중심 환경에 맞지 않는다고 지적했다.

SQL 디버깅은 환경이 상태를 가진 작업이다. 연구진에 따르면 도구 중심 프레임워크를 SQL 디버깅 같은 상태 있는 작업에 적용할 때는 환경을 제대로 격리하려고 롤아웃마다 데이터베이스 컨테이너를 따로 둬야 해서 심각한 공간 비효율이 생긴다. 반대로 상태 변화를 추적하지 않고 데이터베이스를 재사용하면 여러 턴의 상호작용에서 궤적이 오염되고 궤적끼리 간섭이 생겨 정책 갱신이 불안정해진다.

BIRD-RL은 4단계 커리큘럼으로 이뤄진다. 기초 에이전트 추론 강화와 궤적 적응형 온폴리시 탐색을 번갈아 수행해, 처음부터 끝까지 한 번에 학습할 때 생기는 불안정을 피한다고 연구진은 밝혔다.

벤치마크 결과

연구진이 보고한 BIRD-CRITIC-SQLite 벤치마크 성공률은 7B 모델 44.40%, 14B 모델 48.00%다. 14B 모델은 Claude-Opus-4.6 Agent(48.20%)보다 0.2%p 낮다. 연구진은 7B와 14B 모델 모두 이런 강한 상용 모델 기반 에이전트와 견줘 경쟁력 있는 성능이라고 밝혔다.

같은 방법으로 SQL 디버깅과 SQL 생성을 모두 하는 통합 소형 모델도 훈련했다고 연구진은 밝혔다. 이질적인 실제 데이터 작업에서 여러 목표를 함께 최적화하는 데 쓸 수 있다는 것이 연구진의 설명이다.