문서와 그 번역문을 같은 학습 시퀀스에 이어 붙여 다국어 모델을 사전 학습하는 방법을 비교한 논문이 arXiv에 공개됐다(2026년 10월 20일 게시). 연구진은 이 병렬 사전 학습(PPT)만으로는 언어 이해 성능이 표준 사전 학습(SPT)보다 일관되게 오르지 않았다고 보고했다. 대신 PPT로 기반을 만든 뒤 SPT를 이어 가는 2단계 방식이 고자원과 저자원 환경 모두에서 일관되게 성능을 높였다고 밝혔다.
사람이 번역한 고품질 병렬 코퍼스는 언어 간 전이를 돕지만 대규모 사전 학습에 쓰기에는 규모가 작다. 기계 번역한 웹 코퍼스는 이 한계를 극복하는 데 도움이 되고, 병렬 데이터를 사전 학습 규모로 쓰는 것을 가능하게 한다. 그런데 표준 다국어 사전 학습은 원문 문서와 번역문을 따로 뽑아 쓰므로 둘의 병렬 구조를 활용하지 못한다고 연구진은 지적했다.
실험 방식과 결과
연구진은 모델을 처음부터 학습시키면서 PPT와 SPT를 같은 토큰 예산으로 맞춰 비교했다. 이전 교차 언어 연구에서 병렬 데이터의 이점이 보고됐음에도, PPT 단독으로는 일반 언어 이해가 일관되게 나아지지 않았다.
분석에서 PPT는 언어 간 공유 정보를 더 잘 활용해 교차 언어 기반을 탄탄히 만들었다. 다만 학습 때의 병렬 문맥과 실제 과제의 단일 언어 입력이 맞지 않아 일반 언어 이해에서 얻는 이득이 제한된다고 연구진은 설명했다.
이 결과를 바탕으로 연구진은 사전 학습 뒤 미세 조정하는 흐름을 따른 2단계 방식을 제안했다. 먼저 PPT로 교차 언어 기반을 만들고, 이어서 SPT로 표준 언어 모델링에 적응시킨다. 같은 학습 예산에서 고자원과 저자원 환경 모두 일반 언어 이해와 교차 언어 과제 성능이 표준 사전 학습만 쓴 경우보다 일관되게 향상됐다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.