연속 확산 언어모델이 만든 글에서 희귀 단어가 사람 글보다 훨씬 적게 나타난다는 분석과 함께, 이를 되돌리는 방법 GRAFT가 arXiv에 공개됐다(2026년 10월 21일 게재). 연구진은 GRAFT가 추가 학습 없이 이미 만들어진 모델에 적용되며, 희귀 단어 비중을 사람 글의 0.42~0.77배에서 0.82~1.10배로 높였다고 밝혔다.
연속 확산 언어모델은 문장 전체를 병렬로 생성하며, 중간 단계에서는 단어를 하나도 확정하지 않고 마지막 단계에서만 임베딩을 텍스트로 바꾼다. 연구진에 따르면 ELF 같은 모델은 이산 토큰 확산 모델보다 적은 샘플링 단계로 자기회귀 모델 수준의 품질을 보고했고, 모델 자체의 제거 실험은 단계별로 단어를 확정하지 않는 설계를 그 이유로 꼽았다.
희귀 단어가 사라지는 문제
연구진은 같은 설계가 숨은 비용을 만든다고 지적했다. 학습에 쓰지 않고 따로 떼어 둔 사람 글(held-out human text)을 기준으로 삼아 비교하면, ELF는 흔한 단어의 사용 비율이 사람과 거의 일치하지만 가장 드문 단어는 사람 비율의 0.30배만 나타났다. 이 격차는 파라미터가 1억 500만 개에서 6억 5200만 개로 커져도 줄지 않았고, 이 모델들이 제공하는 샘플러 설정으로도 메워지지 않았다. 같은 크기의 GPT-2는 디코딩 규칙만 바꿔도 사람 비율의 0배에서 그 이상까지 조절됐다.
원인으로 연구진은 평균 효과를 들었다. 단어를 확정하는 단계가 없어 매 단계가 남은 후보들의 평균으로 움직이고, 희귀 후보를 그 자리를 다투는 흔한 단어와 평균 내면 결과가 흔한 단어로 쏠린다는 설명이다. 자기회귀 모델은 후보 전체를 평균 내지 않고 하나를 뽑는 디코딩 규칙을 쓰기 때문에 이 문제를 피한다.
GRAFT의 방식과 결과
GRAFT는 학습이 필요 없는 방법으로, 고정된 모델에 빠져 있던 선택 단계를 덧붙인다. 모델이 아직 결정하지 못한 상태일 때 평균에 묻힐 희귀 단어를 먼저 확정하고, 그 단어들을 고정한 채 문장을 처음부터 다시 생성한다.
연구진은 ELF 세 가지 규모와 독립적인 연속 확산 언어모델 LangFlow에서 희귀 단어 비중이 상대적으로 34~109% 늘었다고 보고했다. 시험한 모든 모델에서 단어 빈도 분포 전체가 사람 글에 더 가까워졌고, 가까워진 정도는 ELF-B에서 2.7배, LangFlow에서 12배였다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.