Mistral, 아랍어 방언 분류 모델 LIDstral-Arabic 공개, 51개 클래스 구분

Mistral이 아랍 문자로 쓴 텍스트의 언어와 방언을 분류하는 모델 LIDstral-Arabic의 저장소를 Hugging Face에 공개했다. 분류 대상은 51개 클래스로, 현대 표준 아랍어(MSA)와 아랍어 방언, 같은 문자를 쓰는 아랍어 외 언어가 들어 있다. 아랍어 외 언어는 문자만 보고 아랍어로 판정하는 오류를 막으려고 학습에 넣었다고 Mistral은 밝혔다. 저장소는 2026-10-08T11:37Z에 만들어졌고 가장 최근 수정은 2026-10-13T13:52Z다.

라이선스는 Apache 2.0이다. 제3자의 지식재산권 등 권리를 침해하는 방식으로는 쓸 수 없다는 조건이 붙는다. 파이프라인은 CPU에서 돌아가며, 전처리 후에도 내용이 남은 입력마다 51개 클래스 전체에 대한 보정 확률과 예측 라벨을 낸다.

작동 방식

모델은 세 단계로 이뤄진다. fastText OVA(one-vs-all) 분류기가 클래스별로 독립된 점수를 내 경쟁 언어와 방언의 근거를 남긴다. 이어 64유닛 층 정규화 MLP 스태커가 점수에서 뽑은 144개 특징으로 확률을 계산한다. 특징에는 원점수, 사전 확률 보정, 신뢰도 격차, 엔트로피, 지역별 요약이 들어간다.

마지막으로 클래스별 등위 회귀(isotonic regression)가 개발 세트 예측으로 확률을 보정하고 클래스 전체에 걸쳐 다시 정규화한다. 이 보정은 신뢰도뿐 아니라 예측 라벨도 바꿀 수 있다. 전체 실행에는 lid_ova_full.bin, mlp_stacker_ln.pt, isotonic_calibration.pkl, classify.py가 필요하다. 전처리는 웹과 음성 인식 잔여물, 발음 부호, 장식용 글자 늘임, 반복 문장부호를 지우고 알리프 변이형은 남긴다.

성능과 한계

평가는 NADI, MADAR, QADI, Casablanca, FLEURS, SMOL, Omnilingual ASR, Hassaniya 등에서 모은 아랍어 예시 84,870개로 했다. 모로코 방언(Darija)에서 F1 점수는 88.67%로, 이 방언에서 가장 강한 비교 모델인 LahjatBERT ALDi CL의 72.65%, GlotLID v3의 71.28%보다 높다고 Mistral이 밝혔다.

모델은 항상 지원하는 51개 클래스 중 하나를 고른다. 그래서 지원하지 않는 언어나 여러 언어가 섞인 글은 잘못 분류할 수 있다고 저장소가 적었다.

사용법

huggingface_hub를 설치하고 hf auth login으로 로그인한 뒤 hf download mistralai/LIDstral-Arabic --local-dir LIDstral-Arabic으로 내려받는다. 폴더에서 pip install -r requirements.txt를 실행하면 환경이 갖춰진다.

문장 하나는 python classify.py --text "..."로 분류한다. 결과는 label, confidence, probabilities로 나온다. 예시에서 모로코 방언 문장은 Morocco 라벨에 신뢰도 0.9523이 나왔다. 여러 문장은 text 필드가 있는 JSONL을 --input으로 넘기고, 표준 입력은 --input -로 읽는다. 빈 입력이나 전처리로 전부 지워진 텍스트는 오류가 난다.

Python API에서는 ArabicLID 클래스로 모델을 한 번 불러 여러 텍스트를 예측한다. 세 모델 파일은 같은 폴더에 둬야 하며 다른 폴더는 --model-dir로 지정한다.