연구진이 사전학습된 언어 모델 하나가 한 번만 계산하는 단일 패스 추론과 층을 되풀이하는 반복(루프) 추론을 모두 지원하도록 학습하는 방법을 arXiv에 공개했다. 논문 제목은 'One Model, Two Paths'이며, 반복 추론의 성능을 높이면서 단일 패스 품질이 떨어지는 문제를 줄이는 것이 목표다.
트랜스포머 층을 반복하면 파라미터를 더하지 않고도 언어 모델 성능을 높일 수 있다. 사전학습된 모델은 중간 층의 가중치를 다시 써서 추가 계산을 하는 방식으로 두 경로를 모두 지원하도록 바꿀 수 있다. 논문은 이 방식을 전제로 학습 전략을 연구했다.
문제는 두 경로가 가중치를 공유한다는 점이다. 반복 추론의 예측을 개선하도록 학습하면 단일 패스 품질이 나빠질 수 있다. 연구진은 두 출력에 각각 가중 손실을 두고, 원래 모델을 고정한 채 이를 길잡이로 삼는 공동 학습 전략을 비교했다.
연구진은 공동 지도가 반복 추론만 학습하는 경우보다 단일 패스 성능 저하를 크게 줄이고, 일반적인 추가 학습보다 높은 반복 추론 성능도 유지한다고 밝혔다. 이 효과의 대부분은 단일 패스 손실의 가중치를 조절해서 나왔고, 고정된 원래 모델의 길잡이는 반복 출력을 추가로 개선했다.
검증 데이터로 가중치를 고르면 단일 패스 품질을 일반적인 추가 학습 대비 미리 정한 허용 범위 안에서 지키면서 반복 추론 예측을 개선했다는 것이 연구진의 설명이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.