Mistral, 아랍어 방언 분류 모델 LIDstral Arabic 공개

Mistral이 아랍어 문자로 쓴 텍스트의 언어와 방언을 분류하는 모델 LIDstral Arabic을 Hugging Face에 공개했다. 저장소 정보가 갱신된 것은 10월 13일(UTC)이다. 저장소 자체는 10월 8일(UTC)에 만들어졌고, 공개 발표 시점은 확인되지 않는다.

이 모델은 현대 표준 아랍어(MSA)와 모든 아랍어 방언, 같은 문자를 쓰는 비아랍어 언어를 구분하며, 지원 클래스는 51개다. 방언 수와 비아랍어 수는 따로 공개되지 않았다. Mistral은 학습에 비아랍어를 넣은 이유를 문자만 보고 아랍어로 판정하는 오류를 줄이기 위해서라고 설명했다. 라이선스는 Apache 2.0이며, 제3자의 권리를 침해하는 방식으로는 쓰지 말라는 조건이 붙는다.

분류 방식

fastText one-vs-all 분류기는 클래스마다 해당 클래스인지 아닌지를 따로 판단해 독립된 점수를 내고, 경쟁하는 언어와 방언의 근거를 남긴다. 이어 64개 유닛의 다층 퍼셉트론(MLP)이 점수에서 뽑은 특징 144개로 확률을 계산한다. 특징에는 원점수, 사전 확률 보정값, 신뢰도 차이, 엔트로피, 지역별 요약이 들어간다.

클래스별 isotonic 회귀는 예측 점수와 실제 정답 비율이 맞도록 값을 조정하는 방식으로, 개발 데이터 예측에 맞춰 확률을 보정한다. 결과는 다시 클래스 전체에 대해 정규화한다. 이 보정은 신뢰도뿐 아니라 예측 라벨도 바꿀 수 있다. 전처리 후에도 내용이 남은 입력은 입력마다 예측 라벨 하나와 51개 클래스 전체의 보정 확률을 받는다.

평가 결과

Mistral은 NADI, MADAR, QADI, Casablanca, FLEURS, SMOL, Omnilingual ASR, Hassaniya 등에서 뽑은 아랍어 예시 84,870개로 평가했다고 밝혔다. 공개된 수치는 모로코 방언 하나뿐이며, 전체 평균이나 다른 방언의 점수는 없다. 모로코 방언 F1 점수는 88.67%로, 이 방언에서 테스트한 기준선 중 가장 강한 LahjatBERT ALDi CL의 72.65%와 다국어 언어 식별 모델 GlotLID v3의 71.28%를 웃돌았다.

전체 파이프라인은 전처리와 특징 추출을 포함해 CPU에서 돈다. 명령줄에서는 python classify.py로 텍스트 한 건을 --text 옵션으로, 여러 건을 text 필드가 있는 JSONL 파일로 분류하며, 결과는 입력마다 라벨, 신뢰도, 전체 클래스 확률을 담은 JSON으로 나온다. 파이썬에서는 ArabicLID 클래스를 한 번 불러 predict에 텍스트 목록을 넘길 수 있다. 빈 입력이나 전처리에서 전부 지워진 텍스트는 오류가 난다.

전처리는 웹·ASR 잔여물, 발음 기호, 장식용 글자 늘임, 반복 문장부호를 지우고 알레프 변형은 유지한다. 모델은 항상 지원하는 51개 클래스 중 하나를 고르므로, 지원하지 않는 언어나 여러 언어가 섞인 글은 잘못 분류할 수 있다.