일본의 소버린 AI를 표방하는 대규모 언어 모델 계열 LLM-jp-4의 기술 보고서가 2026년 10월 14일 논문 공개 서버 arXiv에 올라왔다. LLM-jp-4는 8B 밀집 모델과 32B-A3B 혼합 전문가(MoE) 모델 두 가지로 구성된다. 두 모델 모두 약 12조 토큰으로 처음부터 학습했다.
개발진은 투명성, 재현성, 실용성을 중시했다고 밝혔다. 외부 검증과 재현을 돕기 위해 학습 데이터, 외부 모델, 소프트웨어를 고르는 기준을 명시했고 개발 과정을 공개했다고 밝혔다.
개발진은 평가 결과 이전 LLM-jp 모델보다 성능이 크게 나아졌고, 비슷한 규모의 오픈 웨이트 모델과 견줄 만한 수준이라고 밝혔다. 개발진은 개발 원칙, 학습 절차, 실험에서 얻은 결과를 문서로 남겼다고 했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- LLM-jp-4 Technical Report arxiv.org