스킬 최적화기, 에이전트 성공률 0.1%p 상승에 그쳐 입력 토큰은 16% 증가

스킬 최적화기가 만든 스킬은 사람이 쓴 초기 스킬과 비슷한 비율로 과제에 성공했고, 평균 격차는 0.1%p에 그쳤다. 논문은 최적화기 3종, 에이전트 벤치마크 3종, 모델 2종을 조합해 이 결과를 얻었다고 밝혔다. 논문에는 BiPA라는 분석 방법이 제시됐고, 코드도 공개됐다.

스킬 최적화기는 에이전트 맥락에 들어가는 자연어 절차인 스킬을 고쳐 쓰고, 작은 개발용 과제 묶음에서 성공률을 높인 수정만 남기는 도구다. 터미널 환경 수리 같은 긴 과제에 에이전트를 맞추는 데 쓰인다. 이런 과제는 성공 여부가 들쭉날쭉해서, 작은 개발용 묶음에서 점수가 올랐다고 수정이 실제로 도움이 된다고 볼 수 없다. 성공 점수만으로는 수정이 치르는 비용도 드러나지 않는다.

BiPA가 측정하는 것

BiPA는 두 가지를 한다. 하나는 초기 스킬과 똑같은 후보에 최적화기의 채택 규칙을 그대로 적용해, 선택 과정만으로 얼마나 개선이 보고되는지 재는 것이다. 다른 하나는 각 에피소드를 턴과 그 턴이 읽은 텍스트로 이뤄진 이분 그래프로 기록해, 늘어난 입력 토큰이 어떤 행동에서 나왔는지 추적하는 것이다.

분석 결과

개발용 묶음에서 보인 향상은 테스트에서 사라졌다. 과제 30개 이하의 묶음에서 여러 후보 중 최고를 고르면, 실제로는 아무것도 바뀌지 않았어도 이 정도 향상이 보고된다고 논문은 밝혔다.

학습된 스킬은 입력 토큰을 약 16% 더 읽었다. 최적화기는 거의 항상 규칙을 추가했고, 그중 절반은 작업을 다시 확인하는 규칙이었으며 일부는 한 번에 호출 하나씩만 행동하게 하는 규칙이었다. 에이전트가 이를 따르면서 턴이 늘었고, 턴마다 대화 전체가 다시 전송돼 토큰이 불어났다.

논문은 이 결과에서 네 가지 원칙을 이끌어 냈다. 수정의 향상 폭이 선택만으로 보고되는 수치를 넘을 때만 채택한다. 수정에는 길이가 아니라 추가한 턴 수만큼 비용을 매긴다. 편집기가 규칙을 지우고 합칠 수 있게 한다. 이전 규칙이 치른 비용을 편집기에 보여 준다.

논문이 측정한 것은 성공률의 0.1%p 차이와 입력 토큰 약 16% 증가다. 스킬 최적화 도구를 쓰는 개발자는 성공률 표만으로 효과를 판단하기 어렵고, 입력 토큰이 얼마나 늘었는지도 함께 봐야 한다. 이 결론은 논문이 검토한 최적화기 3종, 벤치마크 3종, 모델 2종 조합에 한정된다.