Mirendil, 코딩 모델 Fern 0.1 공개, 문맥 최대 1,000만 토큰

AI 연구개발 조직 Mirendil이 첫 모델 Fern 0.1을 공개했다. 처음부터 새로 만든 코딩 모델로, 컨텍스트 창이 최대 1,000만 토큰이다. Mirendil은 이 길이가 코드 약 23MB, 50만 줄가량에 해당한다고 설명했다.

현재는 호스팅 방식의 얼리 액세스 신청으로만 쓸 수 있다. 가중치나 양자화 버전은 발표되지 않았다. 파라미터는 0.1~0.5T로 알려졌으나 정확한 수와 활성 파라미터는 공개되지 않았고, 라이선스와 요금도 밝히지 않았다.

용도와 개발 방식

Fern은 일반 대화보다 AI 연구개발 작업을 겨냥한다. Mirendil이 든 용도는 큰 코드베이스 작업, 테스트를 통과할 때까지 명령을 실행하는 에이전트 코딩, 학습 루프·데이터 파이프라인·평가 같은 연구 코드, 긴 로그와 스택 트레이스로 학습 실행을 디버깅하는 일, 에이전트나 학습 기록 전체 읽기, 사전 학습 데이터 조각의 중복·오염·불량 점검 등 여섯 가지다.

Fern 0.1은 기반 모델 Mirendil-Base에 짧은 사후 학습을 거쳐 만들었다. Mirendil에 따르면 연구원 한 명이 3.5개월 동안 사전 학습했고, 실험과 에이전트 토큰 비용, 데이터 처리를 포함한 총 컴퓨팅 비용은 1,000만 달러 미만이다. 코드의 99% 이상은 AI 에이전트가 썼으며, 연구원은 시도할 항목과 개입 시점을 정했다.

학습 데이터는 GitHub, 공개 코드, 웹 페이지, 공개 데이터셋뿐이다. Mirendil은 지식 증류, 합성 데이터, 라이선스 데이터를 쓰지 않았고 코드는 PyTorch와 JAX로 새로 작성했다고 밝혔다. Fern은 계획된 세 모델 중 가장 작다. Mirendil-Base-Large(0.5~2T)는 사전 학습이 80% 넘게 진행됐고, Mirendil-Base-XL(2~10T)은 20% 넘게 진행됐다.

긴 문맥 성능

Mirendil은 자사 저장소를 이어 붙인 42.9MB 텍스트로 다음 토큰 예측을 시험하고, 교차 엔트로피를 바이트당 비트로 쟀다. 값이 낮을수록 좋고, 창 크기는 토큰이 아니라 바이트 단위다. Fern의 손실은 32K바이트 창에서 0.246, 16M·23M바이트 창에서 0.155였다. 1M바이트 창에서는 Kimi-K3가 0.140, Fern이 0.165, GLM-5.3이 0.170이어서 같은 길이에서 Fern은 Kimi-K3에 못 미쳤다. 다른 모델은 광고된 한계인 약 100만 토큰까지만 측정했고 Fern은 그 너머에서도 곡선이 계속 내려간다.

벤치마크 RULER는 사후 학습 이전의 Mirendil-Base로 다섯 과제를 돌렸다. 탐욕 디코딩, 사고 기능 끄기, 정확 문자열 일치 조건이다. 단일 바늘 검색은 32K부터 10M까지 모든 길이에서 100%였다. 다단계 질의응답(HotpotQA)은 10M에서 45%로 떨어졌다. 10M 칸은 예시 20개, 나머지는 100개로 계산했고, Mirendil은 더 폭넓은 긴 문맥 결과를 추후 내놓겠다고 했다.

에이전트 코딩 점수

Mirendil이 공개한 비교표에서 Fern 0.1은 대형 오픈웨이트·프런티어 모델인 Kimi-K3, GLM-5.3, Claude Opus 5.5에 다섯 시험 모두 뒤진다. 다른 모델 점수는 모델 카드, 리더보드 또는 Mirendil의 자체 실행에서 가져왔다. 이 수치는 모두 Mirendil의 자료이며 독립 평가는 아니다.

Fern 0.1은 Inkling과 Nemotron 3 Ultra를 다섯 시험 중 네 개에서 앞선다. SWE-Pro v2 Hard에서는 Beam과 76.5로 같고, SWE-Bench Verified에서는 Beam의 81.6에 못 미치는 73.4다.

Kimi-K3(Moonshot AI)는 전체 2.8T, 활성 104B 파라미터에 입력이 텍스트·이미지·영상이고 라이선스는 Kimi K3 License다. GLM-5.3(Z.ai)은 전체 753B, 활성 약 40B에 텍스트 입력이고 라이선스는 GLM-5.3 License다. 둘 다 가중치를 공개하고 API를 제공하며 문맥은 1,048,576토큰이다. Fern은 입력이 텍스트와 코드다.