에이전트와 개발

Meta, LLM 테스트 JiTTests 운영 도입…개인정보 SEV 74건 사전 차단

Meta가 위험한 코드 변경에서 일부러 실패하도록 설계한 LLM 테스트를 내부 인프라에 도입했다. 외부에는 공개하지 않았고, 수치는 모두 Meta 자체 집계다.

루카스 ·

Meta가 대규모 언어 모델(LLM)로 만든 테스트 시스템 'JiTTests'(Catching Just-in-Time Tests)를 연구 단계에서 실제 운영 인프라로 옮겼다. 코드 변경(diff)이 병합되기 전에 위험한 동작 변화를 실행 가능한 테스트로 잡아내는 도구다. Meta 팀은 2026년 상반기에 개인정보 관련 SEV(심각 장애) 74건을 diff 단계에서 잡았다고 밝혔다.

JiTTests는 외부에서 쓸 수 없다. Meta는 코드, 모델, API를 공개하지 않았다. 수억 줄 규모의 Meta 백엔드 코드에서 내부 인프라의 남는 자원으로 밤사이 돌아간다.

기존 테스트와 다른 점, 작동 방식

기존의 보강(hardening) 테스트는 작성 시점에 통과하며 앞으로 생길 회귀를 막는다. 반면 Catching 테스트는 검토 중인 변경을 겨냥하고, 변경에 버그가 있으면 실패하도록 만든다. Meta는 이 개념을 2025년 논문 'Harden and Catch'에서 정리했다. 실패하는 테스트는 해당 diff가 동작을 바꿨다는 구체적인 증거가 된다. 코드를 읽고 댓글을 남기는 일반적인 AI 리뷰 도구와 달리 실제로 코드를 실행해 차이를 보여 준다. Meta 팀은 연산 단계가 더 많이 든다는 점을 인정하면서, LLM이나 에이전트 리뷰가 놓칠 수 있는 버그 유형을 잡는다고 주장한다.

운영 파이프라인은 다섯 단계다.

  • 대상 선정: 전날 올라온 위험한 diff를 고른다. Meta의 Diff Risk Score와 비슷한 방식을 쓴다.
  • 테스트 생성: diff를 인식하는 두 가지 워크플로가 후보 테스트를 만든다.
  • LLM 심사단: 여러 LLM이 테스트 코드, 실패 기록, diff, 추정한 의도를 보고 실패한 테스트마다 점수를 매긴다.
  • RubFake: 규칙 기반 오탐 제거 환경이다. 리플렉션 사용, 깨진 목(mock), 미구현 예외 같은 패턴을 걸러낸다.
  • 휴먼 온 더 루프: 종합 순위를 바탕으로 시스템이 엔지니어에게 연락할지 정한다.

생성 워크플로 중 dodgy diff 방식은 모든 diff에 버그가 있다고 가정한다. diff를 원본 코드의 변이체로 보고 둘을 구분하는 테스트를 만든다. intent-aware 방식은 코드, 제목, 요약에서 diff가 해야 할 일을 먼저 추정하고, 위험 요소를 나열해 각각의 변이체를 만든 뒤 이를 잡아내는 테스트를 쓴다. 이 테스트가 실제 diff에서 실패하면 '약한 포착(weak catch)'이 된다.

휴먼 인 더 루프가 사람이 모든 출력을 검토하는 방식이라면, 휴먼 온 더 루프는 엔지니어가 기준을 정하고 결과를 종합해 감시하며 정책 수준에서 개입하는 방식이다. Meta 엔지니어는 테스트 코드를 읽을 일이 드물고, 관찰된 동작 변화가 의도한 것인지만 확인한다.

수치와 한계

연구 논문은 생성된 테스트 22,126개를 분석했다. diff를 인식하는 방식은 보강 테스트보다 후보 포착이 4배, 우연히 실패한 테스트보다 20배 많았다. 규칙 기반 검사와 LLM 심사가 사람의 검토 부담을 70% 줄였다는 것도 논문의 자체 집계 수치다.

테스트 생성 방식별 비교(Meta 코드베이스, 논문 Table 1, 자체 집계)
방식테스트당 약한 포착약한 포착이 있는 diff
JiTTests intent-aware6.4%(811개 중 52개)7.9%
JiTTests dodgy diff2.5%(1,621개 중 41개)4.0%
ACH(변이 기반 보강)0.8%(754개 중 6개)1.6%
TestGen-LLM2.0%(4,499개 중 89개)3.6%

약한 포착은 후보 실패일 뿐 확인된 버그가 아니다. 초기 배포에서는 엔지니어에게 후보 41건을 보고했고, 8건(19.5%)만 진짜 양성으로 확인됐다. Meta는 이 8건 중 4건이 운영 환경에서 심각한 장애를 일으켰을 것이라고 보고했다. 이 역시 Meta의 자체 보고다.

Meta의 10월 엔지니어링 글은 더 큰 규모에서의 운영 수치를 제시했다. 연락받은 엔지니어 중 64%인 589명이 JiTTests에 참여(engaged)했고, 2026년 상반기에 개인정보 SEV 74건을 diff 단계에서 잡았다. 같은 기간 개인정보 SEV 발생 전체는 20% 줄었다. 엔지니어들이 보고한 진짜 양성 비율은 60%다. 이는 엔지니어 자체 보고 수치여서, 초기 배포의 19.5%(41건 중 8건)와 직접 비교하기는 조심스럽다. 모두 Meta 자체 보고 수치이며 독립 검증은 없다. 논문 심사 모델로는 Llama3.3-70B, Gemini 3 Pro, Claude Sonnet 4가 쓰였다.

외부 개발자가 도구를 쓸 수는 없지만, diff를 인식하는 변이 기반 테스트 생성, LLM 심사단, 결정론적 필터, 집계 수준의 사람 감독이라는 구성은 다른 팀이 참고할 수 있다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.