정렬을 거친 대규모 언어 모델(LLM)이 시를 쓸 때 소수의 단어와 표현만 되풀이한다는 대규모 조사 결과가 나왔다. 논문 「Language Models are Lazy Poets: Creative Mode Collapse at Scale」은 15개 시 형식, 248개 주제 태그, 16개 공개 가중치 모델로 시 110만 편 이상을 생성해 분석했다.
연구진은 자신들이 아는 한 이 규모가 지금까지 나온 LLM 생성 시 말뭉치 가운데 가장 크다고 밝혔다. 분석 결과 모델이 가진 시적 어휘와 운(rhyme)을 맞추는 능력은 상당한 수준이지만, 실제로는 심각하게 활용되지 못하고 있었다. 모델은 적은 수의 단어, 시작 구절, 운에 지나치게 의존했고, 연구진은 이를 두고 LLM을 '게으른' 시인이라고 표현했다.
어휘가 획일화되는 정도는 모델과 시 형식마다 달랐다. 이와 함께 연구진은 관찰된 운 어휘가 모델 크기와 상관관계를 보인다고 밝혔다.
연구진은 정렬된 LLM의 출력이 서로 매우 비슷해지는 현상을 '모드 붕괴'라 부른다. 이 문제의 해결책은 이미 제안된 적이 있지만, 특정 텍스트 장르에서 이 현상을 대규모로 조사한 종합 연구는 부족했다고 논문은 설명한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.