Kolibri가 영어와 독일어를 지원하는 트랜스포머 기반 전문가 혼합(MoE) 모델을 공개 가중치로 내놨다. 총 파라미터는 781억 개이고 토큰당 활성화되는 파라미터는 34.6억 개다. 라이선스는 Apache 2.0이다.
개발진은 공공 행정, 산업, 항공우주 같은 규제 분야에서 각자 통제하는 환경에 배포할 수 있도록 이 모델을 만들었고, 특히 독일어에 중점을 뒀다고 밝혔다. 이를 위해 데이터, 아키텍처, 학습 인프라, 사후 학습, 평가까지 모델 개발 전 과정을 직접 관리했다고 한다.
학습 데이터와 방식
사전 학습, 중간 학습, 긴 문맥 확장 단계에 쓴 토큰은 24조 개다. 독일어는 바이트 기준으로 데이터 혼합의 20% 넘게 차지한다. 이 비중을 맞추려고 기존 독일어 데이터에 더해, 자체 파이프라인으로 웹에서 골라내거나 합성한 독일어 토큰 2조 개 이상을 추가했다고 개발진은 설명했다.
사후 학습은 선별한 독일어·영어 데이터로 한 지도 미세 조정과, 내부에서 선별한 120만 개 넘는 과제로 한 강화 학습을 합친 방식이다. 과제는 추론, 도구 사용, 지시 따르기, 코드, 검색을 포함한다.
효율과 개발 체계
이 모델은 토큰마다 전체 파라미터의 4.4%만 활성화한다. 개발진은 보고서에서 평가한 공개 모델 가운데 영어와 독일어 모두에서 품질과 서빙 비용의 파레토 경계에 놓인다고 주장했다. 이는 개발진 자체 평가다.
Kolibri는 전신 모델 Kolibri Origin 위에 만들어졌다. Origin은 전체 파이프라인을 대규모로 검증한 이전 버전이다. 두 모델은 데이터, 실험, 학습, 평가, 배포를 버전 관리되는 워크플로로 잇는 Model Factory에서 나왔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.