Our Own Jev 논문 공개, 한 번 계산으로 선택지별 확률 내는 판정기를 내부에 도입

연구진이 2026년 10월 21일 arXiv에 공개한 논문 'Our Own Jev'는 텍스트를 생성해 해석하는 대신, 한 번의 순전파로 선택지마다 확률을 내는 '타입 판단(typed decision)' 방식을 두 가지로 활용한 결과를 보고했다. 하나는 에이전트 코딩 세션 약 14만 8천 건을 선별하는 사내 판정기이고, 다른 하나는 공개 레시피로 오픈 LoRA 모델 세 종을 학습한 실험이다.

타입 판단은 근거 자료, 질문, 정해진 선택지 묶음을 입력받아 모든 선택지의 확률을 한 번의 계산으로 낸다. 언어 모델의 로짓을 읽거나 은닉 상태 위에 작은 헤드를 얹는 방식이다. 논문은 상용 시스템 Jev가 이 방식을 대중화했고 오픈 재현 사례가 뒤를 이었다고 설명한다.

사내 판정기: 비용은 약 1%

1부의 사내 판정기는 학습용 데이터를 고르기 위해 에이전트 코딩 세션 기록 약 14만 8천 건을 분류한다. 이 판정기가 대체한 기존 최첨단 LLM 판정기는 1회 처리에 약 1,000달러 수준의 비용이 들었다. 대체된 최첨단 LLM 판정기가 저장해 둔 라벨은, 새로 구한 두 판정기가 합의한 세션에서 그 합의와 26.9%만 일치했다.

새 판정기는 고정한 백본에 랭크 16 LoRA 어댑터와 포인터 헤드를 붙인 구성으로, 세 가지 타입 질문에 한 번의 순전파로 답한다. GPU 한 장에서 세션 1,000건을 약 3분에 판정하며, 기준 요금으로 약 0.06달러로 최첨단 판정기 비용의 약 1%이고, 세션 데이터가 조직 밖으로 나가지 않는다.

오픈 LoRA 모델 실험

2부는 파라미터를 추가하지 않는 읽기 방식이 경쟁력을 갖는지, 그리고 출력층의 글자 행 26개를 따로 학습하면 도움이 되는지를 다뤘다. 연구진은 공개된 Eikos 레시피와 약 2만 5천 건의 판단 말뭉치를 추가 백본 세 종(1B, 2B, 35B)에 적용했다. 이 방식은 LoRA를 적용한 디코더의 고정 출력층을 읽는다.

JevBench의 공개 어려운 문항 111개에서 단일 시드 35B 모델은 79.3%를 기록했다. 상용 기준 모델의 73.0%와는 통계적으로 유의한 차이가 없었다(보정 전 p=0.12). 이와 별개로 오픈 시스템 다섯 개보다는 Holm-Bonferroni 보정 후에도 앞섰다. 이 모델은 해당 문항을 본 상태로 개발됐으며, 2B 모델은 리더보드의 kev 체크포인트 네 개를 모두 앞섰다.

단일 시드로 진행한 제거 실험에서는 출력층 글자 행 26개를 학습해도 검출될 만한 이득이 없었다. 이후 공개된 말뭉치 버전으로 다시 학습하자 2B 모델의 어려운 문항 정확도가 11.7포인트 움직였다. 논문은 이 변동폭이 작은 평가로는 모델 차이를 가리기 어렵다는 점을 보여 준다고 썼다.