다국어 BabyLM 시스템의 학습에서 언어별 샘플링 비율을 학습 도중 바꾸는 프레임워크 ARMOR-DP가 arXiv에 공개됐다(2026년 10월 24일 게재). 연구진은 기존 시스템이 보통 언어별 샘플링 비율을 고정하지만, 학습이 진행되는 동안 가장 약한 언어가 바뀔 수 있다고 지적했다.
ARMOR-DP는 불균형의 원인을 표현, 노출, 용량, 목적 함수 압력으로 나눠 진단한다. 언어별 검증 손실을 보고 샘플링 비율을 갱신하는 모듈형 구조다.
통제 실험에서 언어마다 문자 수 예산을 똑같이 배정하자 중국어에 심한 표현 아티팩트가 생겼다. 바이트 수준 인코딩을 적용하면 이 문제가 상당 부분 사라졌다. 바이트 수준 인코딩을 쓴 뒤에도 중국어를 고정 비율로 보호하면 영어가 가장 약한 언어가 될 수 있었다.
연구진은 동적 제어기가 이런 전환을 따라가며, 고정 보호 방식보다 점수와 균형 사이의 절충이 낫다고 밝혔다. 공식 평가에서는 커리큘럼 동적 체크포인트가 조건을 맞춘 정적 중국어 보호 기준 모델을 앞섰고, 중국어 에폭은 더 적게 썼다. 모델 용량을 키운 구성은 내부 ARMOR-DP 시스템 중 가장 좋은 성능을 냈다고 한다.
연구진은 다국어 약점이 언어 자체의 고정된 속성이 아니라 학습 시점의 상태라고 결론 내렸다. 진단과 개입을 분리해, 미리 정한 언어 대신 그 시점의 병목에 보호를 맞추는 설계다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.