IQuest-Q1이 오픈소스 모델로 공개됐다. 총 320B 매개변수 가운데 15B만 활성화하는 희소 전문가 혼합(MoE) 구조의 에이전트형 파운데이션 모델이다. 관련 논문은 「IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems」라는 제목으로 2026년 10월 22일 arXiv에 올라왔다.
개발진은 이 모델이 코딩과 일반 작업 모두에서 역량을 보인다고 밝혔고, 커뮤니티의 연구와 개발을 돕기 위해 모델을 공개한다고 설명했다. 논문 초록에는 요금, 배포 방식, 벤치마크 점수가 나오지 않는다.
세 단계로 나눈 학습 과정
첫 단계는 사전 학습이다. Stable SplitNorm, Muon, muP를 함께 쓰고, 2단계 커리큘럼으로 진행했다. 두 번째 단계에서 코딩 데이터 비중을 키웠다. 개발진은 안전한 학습률과 최적 학습률 사이에 넓은 안정 여유를 유지했다고 밝혔다.
두 번째 단계는 세밀하게 나눈 중간 학습이다. 여러 분야와 형식으로 데이터 구성을 넓히고, 컨텍스트 길이를 점차 늘렸다.
세 번째 단계는 여러 스캐폴드와 여러 버전을 활용한 사후 학습이다. 지도 미세 조정(SFT), 분야별 강화 학습, MOPD를 스캐폴드별로 결합해 서로 보완되는 학습 신호를 통합하고 에이전트 코딩 역량을 강화했다.
이 3단계 과정에 더해 모델 병합도 적용했다. 서로 다른 전문가와 여러 단계의 체크포인트를 합치되, 매개변수 업데이트끼리 충돌하는 문제를 줄이도록 했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.