Z.ai 법률 특화 GLM-Legal 공개, Harvey LAB 7위지만 법률 조사 점수는 기반 모델보다 낮아

Z.ai가 2026년 10월 12일 법률 업무용 모델 GLM-Legal을 공개했다. 계약 검토, 증거 분석, 규정 준수 조사 같은 에이전트형 법률 업무를 겨냥한 모델이다. 평가 기관 Vals AI는 Harvey가 만든 법률 에이전트 벤치마크(Harvey LAB)에서 이 모델이 19.17%로 79개 모델 중 7위를 했다고 밝혔다.

사용은 신청제다. 로펌, 리걸테크 기업, 기업 법무팀이 API 이용을 신청할 수 있고, Z.ai는 요금을 공개하지 않았다. 모델 가중치는 풀리지 않았으며 10월 13일 기준 Hugging Face에도 저장소가 없다. Z.ai는 데스크톱 에이전트 앱 AutoClaw에도 넣겠다고 했지만 일정은 밝히지 않았다.

기반 모델과 학습 방식

GLM-Legal은 Z.ai의 GLM-5.3-Flash를 바탕으로 만들었다. 기반 모델은 전체 3,200억 개, 활성 180억 개 매개변수의 전문가 혼합(MoE) 구조이고 컨텍스트 창은 100만 토큰이다. Z.ai는 GLM-Legal만의 매개변수 수를 따로 밝히지 않았다.

학습은 두 단계였다. 먼저 확장한 법률 말뭉치로 중간 학습을 해 사실에서 규칙, 결론으로 이어지는 추론을 강화했다. 이어 수만 개의 법률 과제 환경에서 강화 학습으로 사후 학습을 했다. Z.ai 팀은 사후 학습 중 에이전트 하네스도 모델과 함께 고쳤다고 설명했다.

벤치마크 결과

Harvey LAB은 24개 실무 분야에 걸친 1,250개 과제로 이뤄진 오픈소스 벤치마크다. 전문가가 쓴 7만 5천여 개 평가 기준으로 채점하며, 한 과제의 기준을 모두 통과해야 해결로 친다. Vals AI는 비공개 시험 세트를 인터넷을 차단한 환경에서 실행했고, LLM 판정자 두 개가 채점했다.

GLM-Legal의 과제 통과율은 19.17%로, 기반 모델 GLM-5.3-Flash의 6.67%보다 12.5%포인트 높다. 개별 기준 통과율은 92.5%이고, 상위 모델은 90~95% 수준이다. Z.ai가 공개한 비교 차트에서는 Kimi K3가 12.92%, Anthropic의 Claude Fable 5가 11.25%, OpenAI의 GPT-6 Astra가 5.42%였다.

리더보드 1위는 Muse Spark 1.2로 25.42%다. GLM-Legal보다 위에 있는 모델은 Meta와 Google의 여섯 개이며, Z.ai의 비교 차트에는 이들이 빠져 있다.

GLM-Legal의 Harvey LAB 테스트당 비용은 0.15달러로, Claude Fable 5의 19.23달러보다 낮다. Z.ai는 GLM-Legal 요금을 공개하지 않았고, 0.15달러는 Vals AI가 GLM 계열 두 모델에 입력 100만 토큰당 0.075달러, 출력 0.25달러를 가정해 계산한 값이다. 개발자는 공개 API로 쓸 수 있는 기반 모델 GLM-5.3-Flash로 파이프라인을 먼저 만들고 나중에 모델 ID만 바꿀 수 있다.

LegalBench에서 Vals AI는 GLM-Legal에 86.23%를 매겼다. 선두는 Claude Fable 5(88.56%)이고 Kimi K3는 86.21%이며, GLM-Legal과 선두의 차이는 약 2.3%포인트다. Z.ai는 LegalBench와 중국법 중심 벤치마크 PLawBench에서 선두권과 비슷한 수준이라고 주장했지만 PLawBench 수치는 내놓지 않았다.

한계

Legal Research Bench에서 GLM-Legal은 41.83%로 기반 모델의 45.19%보다 3.36%포인트 낮다. 법률 에이전트 과제를 겨냥해 학습한 결과 법률 조사 점수는 오히려 떨어졌다.

속도도 느리다. 한 Harvey LAB 과제에 평균 1시간 12분이 걸려 기반 모델 GLM-5.3-Flash(52분 17초), GPT-6 Astra(24분 49초), Claude Fable 5(26분 53초), Kimi K3(13분 58초)보다 길다.