Vals 이민 벤치마크, 최고 모델 Claude Fable 5.1도 루브릭 75.4%만 충족

Vals AI와 Talent Mobility Fund가 미국 이민법 질문에 대한 AI 모델의 답변 품질을 평가한 Immigration Bench를 2026년 10월 28일 공개했다. 25개 모델을 시험한 결과 1위 Claude Fable 5.1이 질문별 평가 항목(루브릭)의 75.4%를 충족했다. 모든 항목을 충족한 완전 정답 비율은 26.3%에 그쳤다. Vals는 이민 상담을 맡길 만큼 성능이 충분한 모델은 없다고 결론 내렸다.

이 벤치마크는 Talent Mobility Fund(Renaissance Philanthropy 프로그램)와 Vals AI가 공동으로 만들었다. 학생 비자, 취업 비자, DACA 같은 불안정한 신분에서 안정적 신분으로 옮기는 경로 등 과학자·엔지니어·전문직이 주로 쓰는 경로를 다루며, 난민 신청이나 이민 법원 절차는 범위에 넣지 않았다. 결과는 Vals 사이트의 Immigration Bench 페이지에서 확인할 수 있다.

평가 방식

이민 전문가들이 작성한 질문은 모두 519개다. 이 중 262개가 비공개 테스트 세트이며, 이번 결과는 이 세트로 냈다. 나머지 257개는 각 AI 연구소가 자체 평가용으로 라이선스할 수 있도록 남겨 뒀다. 질문은 국제 학생, 국제 학자·교수, 대학 어드바이저, 고용주, 창업가, 자기 청원자, 불안정·임시 신분자 등 7개 페르소나 관점에서 쓰였다. 각 질문에는 완전한 답이 포함해야 할 항목을 적은 전문가 루브릭이 있고, 다른 전문가가 교차 검토했다.

모델은 한 번 묻고 끝나지 않고 최대 5회 오가는 대화로 시험받았다. 가상 질문자 역할은 GPT-6 Luna가 맡아 페르소나의 사실만으로 추가 질문에 답했다. 채점은 Claude Sonnet 5가 맡았다. 이민 전문가 두 명이 의견이 일치한 항목에서 Claude Sonnet 5는 88.6% 같은 판정을 내렸고, 검토한 채점 모델 중 가장 높았다. 항목은 대화 중 어디서든 다루면 충족으로 친다. 모델마다 웹 검색을 끈 조건과 켠 조건으로 한 번씩 돌렸다. 웹 검색은 2026년 9월 21일까지 게시된 페이지에 접근할 수 있었고, 시간 제한(검색 없이 30분, 검색 시 3시간)을 넘긴 대화는 0점이다.

모델별 결과

Claude Fable 5.1은 Claude Opus 5.5(72.1%)를 3.3포인트 앞섰다. Fable 5.1 뒤로는 Opus 5.5를 포함한 10개 모델이 67.7~72.1%로 서로 4.4포인트 이내에 있었다. 완전 정답 비율은 모델별로 12.6%~26.3%였다. Fable 5.1은 검색 없이 7개 페르소나 모두에서 1위였지만, 262문항 중 134문항에서는 다른 모델이 더 높은 점수를 받았다.

25개 모델이 낸 최선의 답을 항목별로 모으면 약 92%를 충족하고 완전 정답이 약 62%였다. 항목의 약 90%는 한 모델 이상이 충족했고, 나머지 10%는 어느 모델도 맞히지 못했다. 2025~2026년 규정을 다룬 항목은 25개 모델을 합쳐도 약 29%만 충족했다. Vals는 이를 모델 선택으로 풀 수 없는 구조적 공백이라고 짚었다. 합산 수치는 채점자가 오판한 경우까지 포함한 상한으로 봐야 한다고도 밝혔다.

표준화된 질문이 많은 국제 학생(OPT 일정, CPT 승인, 신분 유지 등)이 가장 안정적인 답을 받았다. 대학 어드바이저는 루브릭이 가장 길어 점수가 가장 낮았고, 불안정·임시 신분이 그다음이었다. 모든 모델에서 이 두 페르소나가 하위 두 자리였다. 표본이 페르소나당 30~64문항이라 표준오차가 2~6포인트이므로 페르소나 점수는 참고용으로 읽어야 한다고 Vals는 밝혔다.

DACA나 TPS 신분자처럼 법률 조력을 받기 어려운 사람이 가장 약한 답을 받았다. 최고 모델도 63.9%였고 저가 모델 중에는 38.9%까지 내려간 경우가 있었다. DACA 갱신 시점을 묻는 질문에서 Claude Opus 5.5는 모든 항목을 충족했지만, Gemini 3.5 Flash Lite와 GPT-6 Luna는 각각 40%, 20%였다. 둘 다 정부가 권고하는 갱신 시기는 알려 줬으나 갱신 자격이 아직 있는지 확인하지 않았고 계류 중인 Texas v. United States 소송도 짚지 않았다. 이 페르소나 하위 3개는 Gemini 3.5 Flash Lite(38.9%), MiniMax-M3(42.9%), DeepSeek V4 Pro(43.1%)였다. 반면 질문당 2센트 미만인 MiMo V2.6 Pro는 56.6%로 25개 중 4위였다.

약점: 최신 정책과 개인 사정 적용

모델은 법을 설명하는 일보다 개인 사정에 적용하는 일에 약했다. 비자 단계, 자격, 신청 이력처럼 질문자의 상황을 확인하라는 항목은 43%만 충족됐다. 법을 설명하거나 다음 조치를 권하는 항목은 63%, 특정 실수를 경고하는 항목은 86%였다. 첫 답변에서 모델이 질문을 더 많이 던져도 사실 확인 항목이 약 4포인트 더 충족됐을 뿐 전체 점수는 1포인트 미만으로 움직였고 법률 안내의 질은 나아지지 않았다.

2025~2026년 규정을 인용한 루브릭 항목은 65개다. 검색 없이 25개 모델을 합산하면 이 항목의 충족률은 7.3%로, 다른 항목의 64.0%와 큰 차이가 났다. 이 항목에서 가장 높은 Fable 5.1도 18.5%였다. 학생이 '체류 기간(D/S) 종료'가 자신에게 미치는 영향을 물은 질문에서 2026년 7월 DHS 최종 규정(2026년 9월 15일 시행 예정)에 따라 시행 전후 입국자를 구분한 모델은 검색 없이는 0개, 검색을 켜도 3개였다. 일부 항목은 검색 없이는 어떤 모델도 언급하지 못했다. 2026년 3월 ICE의 원격 I-9 검증 위반 집행 방식 변경은 검색 없이는 아무 모델도 언급하지 못했다.

영역별 편차도 컸다. 학생 취업 허가(OPT, STEM OPT) 항목은 76% 충족된 반면 국가이익면제(NIW), PERM 노동인증, O-1, EB-5 같은 장기 체류 경로 항목은 57%~60%였다. 모든 모델이 맞힌 문항은 4개였고, F-1 비자가 만료된 학생이 불법체류자인지 묻는 문항은 25개 중 24개가 모든 항목을 충족했다. 반대로 NIW가 복수 역할이나 산업을 포괄하는지 묻는 문항은 평균 33%에 그쳤고 NIW 프리미엄 처리가 기본이 됐는지는 16%였다.

웹 검색의 효과와 대가

웹 검색을 켜면 모델 평균이 4.7포인트 올랐다. MiniMax-M3(+9.1), Claude Haiku 5.5(+9.0), DeepSeek V4.1 Flash(+8.3)가 크게 올랐고, Fable 5.1(+1.2)을 포함한 7개 모델은 2포인트 미만이었다. 검색 결과를 켜면 Qwen 3.8 Max가 77.5%로 1위, Fable 5.1이 76.6%, Wonder Full이 76.3%였다. 페르소나별로는 고용주 질문에서 10.4포인트 올라 가장 컸고, 대학 어드바이저 6.0포인트, 국제 학생 1.6포인트 순이었다. 검색 점수는 리더보드에 반영되지 않는다.

최신 정책 항목은 모든 모델이 검색 후 더 많이 맞혔지만 가장 높은 모델도 43.1%였다. 2026년 8월 이민항소위원회(BIA)가 Matter of Delcarmen-Lara 사건에서 사전 입국 허가(advance parole)로 여행해도 3년·10년 불법체류 입국금지가 적용될 수 있다고 판단한 사례를 묻는 질문은 검색이 도움이 된 대표 사례다. 검색 없이는 아무 모델도 이 판례를 언급하지 못했고 Qwen 3.8 Max와 Gemini 4 Argon은 폐기된 2012년 판례를 현행법처럼 인용했다. 검색을 켜자 25개 중 19개가 언급했다. Vals는 검색이 지식 공백을 안정적으로 메우는 해법은 아니라고 평가했다.

대가는 시간이다. 검색을 켜면 Claude Opus 5.5와 Claude Sonnet 5.5의 대화당 소요 시간 중앙값이 각각 70분, 63분으로 늘었다(검색 없이 13분, 11분). Qwen 3.8 Max는 40분, Fable 5.1은 22분, Grok 4.7은 12분이었고, Kimi K3와 Gemini 3.5 Flash Lite는 2분 미만이었다. 검색 횟수와 이득도 비례하지 않아, GPT-6 Luna는 대화당 100회 넘게 검색하고도 1.8포인트 오른 반면 DeepSeek V4 Pro는 약 10회로 6.5포인트 올랐다.

답변 길이도 영향을 줬다. 같은 모델이 보통 쓰는 분량 대비 두 배 길어진 답은 검색 없이 약 2.6포인트, 검색 시 약 4.2포인트 높게 채점됐다. 길이를 보정하면 검색 없이는 순위가 거의 바뀌지 않지만, 검색 시에는 Wonder Full이 Qwen 3.8 Max보다 1.3포인트, Fable 5.1보다 1.4포인트 앞선다. Vals는 이것이 보정된 순위는 아니라고 선을 그었다. 모델이 읽은 웹페이지의 약 3분의 2는 정부 기관과 규정 원문이었고 USCIS 자료는 대화의 절반 가까이에 등장했다. 특정 사이트가 점수와 안정적으로 연결되지는 않았다.

비용과 속도

Fable 5.1은 질문당 약 2.11달러, 대화당 약 7분이 든다. 미국 개발사 저가 모델 중 Grok 4.7 등은 Fable 5.1과 7.4~8.9포인트 차이다. Grok 4.7(68.0%)과 GPT-6.1 Sol(67.8%)은 질문당 약 24센트로 거의 9배 저렴하고, Muse Spark 1.2는 66.5%에 4센트 미만으로 50배 넘게 싸며 약 40초 만에 끝났다. Vals는 법률 구조 단체나 비영리 기관이 쓸 현실적인 선택지라고 평가했지만, 최저가 구간에서는 불안정 신분 질문에서 Gemini 3.5 Flash Lite가 38.9%로 Fable 5.1(63.9%)과 26포인트 벌어진다고 지적했다.

토큰당 단가는 비용을 가늠하는 기준으로 부족하다. 질문당 출력 토큰은 Muse Spark 1.2의 약 6,800개에서 Claude Sonnet 5.5와 Claude Haiku 5.5의 약 95,000개까지 열 배 넘게 차이가 난다. Claude Opus 5.5는 토큰당 단가가 Fable 5.1의 절반 미만이지만 출력 토큰을 약 2.5배 쓰는 탓에 질문당 비용이 2.16달러로 비슷한데도 점수는 3.3포인트 낮다.

Pew Research Center에 따르면 미국 성인의 약 절반이 AI 챗봇을 쓰고, 60%는 검색 결과 상단의 AI 요약을 읽는다고 답했다. 많이 쓰는 서비스는 ChatGPT(44%), Gemini(24%), Copilot(17%), Meta AI(14%)다. Vals는 이 제품들이 자체 지시문과 검색을 덧붙이고 어떤 모델이 답하는지 공개하지 않아 직접 시험하지 못하고, 이들 회사가 API로 파는 저가 모델을 대신 평가했다. 20센트 미만인 미국·유럽 개발사 모델 9개는 검색 없이 55.7%(Gemini 3.5 Flash Lite)~66.5%(Muse Spark 1.2)였다. 불안정 신분 질문에서는 38.9%~54.5%였다. Google의 저가 모델인 Gemini 3.5 Flash Lite와 Gemini 3.8 Flash는 검색을 켜도 1.6~2.8포인트밖에 오르지 않았고, 2025~2026년 규정 항목은 각각 13.8%와 7.7%로 25개 중 가장 낮았다.

한계와 권고

Vals는 한계를 밝혔다. 가상 질문자와 채점자가 모두 AI이고, 가상 질문자를 바꾸면 점수가 몇 포인트 움직이고 근소한 순위가 뒤바뀔 수 있다. 질문자를 맡은 GPT-6 Luna는 시험 대상 모델이기도 해서 자기 자신과 대화한 셈이 된다. 채점자 Claude Sonnet 5는 시험 대상 4개 모델과 개발사가 같다. 루브릭은 충족한 항목만 가점하므로 틀린 진술이 있어도 명시적 금지 항목이 없으면 감점되지 않고, 긴 답이 유리하다. 평균 정확도의 표준오차는 1.4~1.7포인트다. 소비자용 제품은 시험하지 않았고, 모델은 한 조건당 한 번씩 API 기본 설정으로 돌렸다.

Vals는 이민 전문 변호사에게는 일반 조사와 초안 작성에만 AI를 쓰고 고객 개별 사안의 자문을 맡기지 말라고 권했다. 대학 국제학생처의 지정 학교 담당자(DSO)에게는 흔한 시나리오로 먼저 시험하고 정부 지침과 학교 법률 자문으로 검증하라고 했다. 고용주와 인사팀은 비자 범주를 대략 파악하는 데만 쓰라고 했고, 법률 구조 단체에는 의뢰인이 AI에 의존할 때의 위험을 알리는 근거로 삼으라고 제안했다. 최신 정책은 검색 여부와 관계없이 USCIS.gov, 연방관보(Federal Register) 같은 원문으로 확인해야 한다고 덧붙였다. AI 연구소에는 최신 규제 반영, 개인 사정에 법을 적용하는 능력, 이민법 전문가와의 데이터 협력을 과제로 제시했다.