AI 기업 예진(대표 고종현)이 11월 6일 한국어에 맞춘 파운데이션 모델 예진 8B v3를 내놓았다. 매개변수는 80억 개이고, 아파치 2.0 라이선스라서 기업이 상용 서비스에 쓰거나 고쳐 쓰는 데 제약이 없다.
용량은 약 15GB여서 공공기관 내부망이나 기업 전산실 서버에 직접 설치해 돌릴 수 있다. 예진은 설치형 패키지를 순차적으로 공급하겠다고 했다. 법령과 판례를 추가로 학습한 버전은 누구나 무료로 쓰는 법령 안내 서비스 '젤리법령 도우미'에 이미 들어갔다.
성능과 토큰 효율
예진은 같은 한국어 법령 문서를 처리할 때 Llama 3 같은 해외 모델보다 토큰이 24~38% 적게 든다고 밝혔다. 이 모델에는 숫자를 따로 나눠 처리하는 '숫자 분리형' 토크나이저를 적용했다.
AI허브가 시범 운영하는 K-AI 리더보드의 30B 이하 중소형 부문에서 평균 0.366점을 받아 Microsoft의 파라-7B, 카카오의 카나나-1.5-8B-인스트럭트, 엔씨소프트의 라마-바르코 8B 인스트럭트 모델 등보다 높았다고 회사는 설명했다.
토큰 절감 폭, 리더보드 점수, 가중치 유사도는 모두 예진이 직접 내놓은 수치다. 리더보드 자체도 아직 시범 단계다.
처음부터 학습한 방식
예진에 따르면 이 모델은 외국 업체가 공개한 가중치를 가져다 쓰지 않고 빈 상태에서 학습시켰다. 토크나이저를 설계하는 단계부터 사전학습까지 모두 자체 작업이다. 공개된 모델 6종과 가중치 유사도를 견줬더니 전부 0.0014 이하였고, 회사는 이를 기존 모델에서 갈라져 나온 파생물이 아니라는 근거로 들었다.
학습에는 NVIDIA H200 GPU 8장을 썼다. 과기정통부와 정보통신산업진흥원(NIPA)의 '고성능 컴퓨팅 지원사업'에서 컴퓨팅 자원을 지원받았다. 원천 데이터는 약 2.7TB로, 과기부와 한국지능정보사회진흥원(NIA)이 운영하는 AI허브의 공공 데이터가 들어 있다. 이 중 중복 문서와 유해 문서를 제거하고 남은 1384억 토큰을 학습했다.
후속작 예진 8B v4는 개발 중이며 연내 공개가 목표다. 기초 사전학습 데이터는 v3의 약 2.5배로 늘린다. 고종현 대표는 공공 데이터와 컴퓨팅 지원을 바탕으로 만든 모델을 누구나 쓰도록 풀어, 국내 기업과 공공기관이 해외 AI에 의존하지 않고 한국어 AI를 쓸 수 있게 하겠다는 뜻을 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- 예진, 한국어 특화 8B AI 모델 공개…사전학습부터 독자 개발 aitimes.com