에이전트 작업, 짧은 작업엔 작은 모델 긴 작업엔 큰 모델 유리

에이전트 AI가 여러 단계에 걸친 작업을 끝낼 때 어떤 언어 모델을 쓰는 것이 에너지와 비용, 시간을 가장 아끼는지 따진 연구 논문이 10월 14일 공개됐다. 연구진은 작업이 짧으면 작은 모델이, 길면 큰 모델이 유리하다는 결론을 냈다. 모델을 고르는 기준을 호출 한 번이 아니라 성공적으로 끝낸 작업 하나로 바꿔야 한다는 주장이다.

연구진은 15개 공개 가중치 모델로 시험했다. 개발사는 5곳이고 크기는 0.6B부터 27B 매개변수까지 다양하다. 다단계 에이전트 과제 2종을 수행하게 하며 GPU 에너지를 실제로 쟀다. 그 결과 완료한 작업당 에너지가 가장 적은 모델은 작업 길이와 종류에 따라 달랐다. 단계별 측정값으로 예측한 교차 지점도 실측과 대체로 맞았다고 연구진은 밝혔다.

인공지능 에이전트는 언어 모델로 계획을 세우고 여러 단계에 걸쳐 행동한다. 작업은 필요한 모든 단계를 통과해야 성공하므로 단계별 신뢰도가 조금만 달라도 전체 성공률은 크게 벌어진다고 연구진은 지적했다. 실패한 시도도 자원을 쓴다.

연구진은 성공적으로 완료한 작업 하나를 기능 단위로 삼아 에너지, 비용, 시간을 계산했다. 이 계산으로 에이전트 워크플로에서 어떤 언어 모델을 쓸지 정하는 틀을 만들었다. 이 틀은 결과가 성공 또는 실패로 갈리는 작업과 점수로 매기는 작업에 모두 쓸 수 있고, 재시도가 있든 없든 적용된다.

에너지, 비용, 시간에는 각각 교차 작업 길이가 있다. 작업이 이 길이를 넘으면 작고 신뢰도가 낮은 모델은 해당 자원에서 더 친환경적이거나 더 싸거나 더 빠른 선택지가 아니다. 세 자원의 교차점이 작업을 세 구간으로 나누고, 짧은 구간과 긴 구간 사이에서만 목표 간 우선순위가 결과를 가른다.

연구진은 효율과 선호를 따로 다루는 2단계 틀도 제안했다. 1단계는 파레토 선별로, 다른 모델에 비해 어느 자원에서도 경쟁력이 없는 모델을 걸러 낸다. 2단계는 걸러 내고도 득실이 갈릴 때만 목표별 가중치를 두고 모델을 고른다.