Microsoft가 자체 대규모 AI 모델 MAI-Base-2의 사전 학습을 끝냈다고 10월 15일(현지시간) 발표했다. 모델의 총 매개변수는 2조8000억 개이며, 토큰 하나를 처리할 때 실제로 작동하는 활성 매개변수는 800억 개다. 구조는 전문가 혼합(MoE) 방식이다.
모델은 사후 학습을 거치는 중이고, 추가 평가 결과는 나중에 공개한다. Microsoft는 이 모델을 다음 세대 자체 모델의 토대로 삼아 먼저 자사 제품에 넣고, 이어 기업 고객에게 공급 범위를 넓힐 계획이다. 가중치는 신뢰할 수 있는 파트너에게 AI 플랫폼 Foundry로 내놓는 방안을 추진한다. 후속 모델 MAI-Base-3 개발 준비도 시작했다.
성능 주장과 학습 규모
Microsoft는 자체 평가에서 비교한 오픈웨이트 모델이 모두 MAI-Base-2에 뒤졌다고 밝혔다. 평가 방식은 학습에 쓰지 않은 텍스트와 코드 등에서 이어질 내용을 맞히는 정확도를 재는 것이다.
DeepSeek-V4-Pro-Base와 견주면 사전 학습 FLOPs 기준 효율이 4.2~12.3배 높다. 이는 DeepSeek 모델과 같은 평가 수준에 도달하는 데 필요한 연산량을 추정한 결과다. 올해 6월 공개한 MAI-Base-1과 비교한 연산 효율은 6.3~12.7배 좋아졌다. 다만 실제로 투입한 총학습 연산량은 MAI-Base-2가 DeepSeek 비교 모델보다 많은데, 아낀 연산을 더 큰 모델을 키우는 데 돌렸다고 Microsoft는 설명했다.
학습에는 NVIDIA GB200 GPU 1만6000개를 2026년 8~9월 38일 동안 썼다. 중복을 제외한 고유 토큰은 MAI-Base-1보다 약 36% 늘었다. 데이터 처리, 모델 구조, 학습 인프라를 아울러 손봐 성능과 효율을 끌어올렸다는 것이 회사 설명이다.
무스타파 술레이먼 Microsoft AI CEO가 15일 직원 대상 타운홀에서, GPT-5.6 솔의 기반 모델보다 강한 사전 학습 모델을 OpenAI가 쓴 연산의 약 4분의 1로 만들었다고 주장했다고 비즈니스인사이더가 보도했다. 이 비교는 비공개 평가에 근거하고, 공개 기술 보고서에는 검증할 만한 상세 결과가 실려 있지 않다. DeepSeek 비교도 Microsoft의 자체 평가와 추정치다.
추론이나 지시 수행처럼 실제 쓰임새와 직결되는 능력은 사후 학습에서 다듬는 중이다. 사전 학습 단계의 평가 결과만으로는 완성된 서비스의 성능을 가늠하기 어렵다.
설계 변경점
이전 모델은 MoE 층과 일반 층이 교대로 놓인 구조였는데, 메모리와 연산이 낭비돼 이번에는 전 층을 MoE로 바꿨다. 전문가마다 맡는 작업량이 달라 메모리가 헛돌고 처리가 지연되던 문제를 완화하는 기술도 새로 도입했다. 그 결과 MoE 층 모델의 연산 활용률이 24%에서 35%로 올랐다.
최적화 알고리즘은 뮤온(Muon)이며, 활성값의 기울기에 상한을 두는 기법을 곁들였다. 이상 값이 학습 전반을 흔드는 정도가 줄어 학습이 더 안정적으로 진행됐다.
학습 데이터는 타사 모델의 답변을 흉내 내는 증류 대신 직접 모아 가공한 자료이고, 쓰인 토큰 전부를 사내에서 처리했다고 한다. Microsoft는 최첨단 성능의 바탕이 다른 모델의 증류가 아닌 자체 데이터라고 밝혔다.
이미지와 텍스트를 한꺼번에 익히는 비전 언어 모델 방식으로 처음부터 짰다. 이미지 설명, 차트 이해, 시각적 객체의 위치 찾기, 공간 추론, 의료 정보 분석, 컴퓨터 조작이 학습 과제에 포함된다. 반복 학습분까지 더한 50조 토큰 가운데 이쪽 데이터가 18%다.
배경
Microsoft는 모델 개발, 데이터 관리, 학습 인프라까지 전 과정을 직접 쥐어 성능과 비용을 동시에 맞추겠다는 구상이다. OpenAI 모델을 받아 쓰는 주요 파트너이면서 제품이 나오기 전에 사전 학습 결과부터 내놓았는데, AI타임스는 이를 외부 모델 의존을 줄일 독자 개발 역량을 부각하는 행보로 풀이했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.