타지크어 뉴스와 책으로 Qwen3에 작은 LoRA 어댑터를 붙인 연구에서, 0.6B부터 8B까지 모든 크기에서 타지크어 텍스트 손실은 토큰당 0.60~1.45 nats 낮아졌지만 독해 성능은 오르지 않았다고 연구진이 arXiv 논문에서 밝혔다. 독해 성능은 Belebele로 측정했으며, 측정이 가능한 구간에서는 어느 어댑터도 점수를 끌어올리지 못했다.
Belebele에서 1.7B와 8B 어댑터는 정확도가 그대로였고, 4B 어댑터는 3.7점 떨어졌다. 0.6B는 4.2점 올랐지만 우연 수준에 가까운 점수이고 모델이 선호하는 정답 보기 문자가 바뀐 시점과 겹쳐서, 연구진은 이를 이해가 늘어난 것으로 읽지 않는다고 했다.
대규모 추가 학습을 한 8B만 점수가 올랐다
8B 모델에 원문 타지크어 텍스트 약 3억 7,500만 토큰으로 추가 사전 학습을 하자 Belebele가 9.9점 올랐다. 여기에 지도 미세 조정 단계를 더한 주력 모델 e3는 Qwen3-8B보다 11.4점 높다. e3의 영어 MMLU는 1.2점 내려갔지만, 연구진은 쌍체 구간 기준으로 3.3점보다 큰 하락은 배제된다고 적었다.
같은 방식을 Qwen3-0.6B-Base에 적용하자 텍스트 손실은 책만으로 사전 학습한 8B 모델에 가까워졌다. 그러나 객관식 답은 여전히 우연 수준이었고 영어 MMLU는 7.6점 떨어졌다.
연구진이 공개한 문제점
연구진이 보고한 학습 모델 15개와 출발 모델 5개는 모두 2025년 6월부터 10월 사이의 모델이며, 2026년에 하나의 하네스에서 쌍체 구간으로 채점했다. 학습 기록 일부가 사라졌고, 사고 모드용 데이터셋에는 추론 내용이 거의 없었다. 후속 갈래 중에는 학습 데이터가 문서화된 적이 없는 것이 있고, 4비트 공개본에는 트랜스포머 층이 들어 있지 않다고도 밝혔다.
연구진은 이 실험에서 타지크어 텍스트 손실이 낮아져도 독해 점수가 따라 오르지 않았다고 적었다. 대규모 추가 사전 학습을 한 8B에서 Belebele 향상이 먼저 나타났고, 여기에 지도 미세 조정을 더한 e3는 Qwen3-8B보다 11.4점 높다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.