CONCUR, 보조 보상이 주 보상 순서를 뒤집지 않게 막는 강화학습 기법 제안

여러 과제를 한꺼번에 강화 학습하는 대규모 언어 모델에서 보조 보상이 주 보상의 순위를 뒤집는 문제를 줄이는 기법 CONCUR가 2026년 10월 27일 arXiv에 공개된 논문으로 제안됐다. 게이트된 보조 보상의 표준화 점수를, 주 보상 순서를 보존하고 주 보상 만점 응답에는 같은 점수를 주는 두 조건을 만족하는 가장 가까운 점수로 바꿔 넣는 방식이다.

논문은 수학, 코드, 지시 따르기, 글쓰기 영역에서 두 계열의 모델 세 종으로 실험했다. 연구진은 CONCUR의 두 변형이 모두 비교 기법보다, 그리고 게이트된 보조 보상을 전부 뺀 경우보다 평균 점수가 높았다고 밝혔다.

보조 보상이 일으키는 문제

과제마다 주 보상이 있고, 길이 보상 같은 보조 보상은 주 보상에 의해 상한이 정해지는 경우가 있다. 응답이 틀렸을 때 보조 보상은 주 보상을 넘을 수 없다는 뜻이다. 그런데 그룹 상대 어드밴티지 추정 방식은 이런 보조 보상도 다른 보상 항목과 똑같이 취급한다. 그 결과 보조 보상이 주 보상의 순서를 거꾸로 만들 수 있다.

주 보상이 만점인 응답끼리는 보조 보상만이 우열을 가른다. 논문은 이런 보조 보상을 유지하면 일부 과제에서 성능이 떨어지고, 빼면 다른 과제에서 떨어진다고 지적했다.

CONCUR의 작동 방식

CONCUR는 게이트된 보조 보상마다 표준화한 점수를, 두 조건을 만족하는 가장 가까운 점수로 바꿔 넣는 어드밴티지 추정 방식이다. 첫째 조건은 주 보상이 높은 응답이 더 낮은 점수를 받지 않는 것, 둘째 조건은 주 보상이 만점인 응답이 서로 같은 점수를 받는 것이다.

• CONCUR-T: 학습 전 과정에서 두 조건을 모두 적용한다.
• CONCUR-A: 통과한 응답 중 주 보상의 순서와 일치하는 경우가 뒤집는 경우보다 많은 보조 보상에 대해서는 둘째 조건을 푼다.