연구진이 대규모 언어 모델(LLM)이 답변을 생성하는 역할과 그 답변을 평가하는 역할을 오갈 때 가치 판단을 일관되게 유지하는지 재는 벤치마크 VALCON을 공개했다. 28개 LLM을 실험했더니, 출력이 규범에 잘 맞는 모델도 자기가 만든 답에 대한 판단은 그와 어긋나는 경우가 많았다고 논문은 밝혔다.1
VALCON은 논문과 함께 GitHub에 코드와 데이터가 공개됐다. 코드는 MIT 라이선스, 벤치마크 데이터와 중간 산출물은 크리에이티브 커먼즈 CC BY 4.0이다. 저자는 Wu Junru, Zheng Jingting, Ren Yuqi, Xiong Deyi이며, 인용 정보에는 Findings of the Association for Computational Linguistics: EMNLP 2026 수록으로 적혀 있고 개최지는 Budapest다.1,2
생성과 평가를 한 모델이 맡는 문제
논문은 기존 가치 정렬 평가가 출력이 규칙을 따르는지에 치우쳤다고 지적한다. 최근 LLM 에이전트와 정렬 파이프라인에서는 같은 모델이 행동을 만들고 그 행동이 받아들일 만한지도 판단하는 일이 많아서, 역할이 바뀌어도 가치가 유지되는지가 중요해졌다는 것이다.1
저장소 설명도 같은 맥락이다. 대부분의 정렬 연구가 출력이 규칙에 맞는지를 보지만, VALCON은 모델이 생성자일 때와 심판일 때 같은 가치 원칙을 똑같이 적용하는지를 겨냥한다.2
측정 방식과 구성
절차는 두 단계다. 먼저 모델이 특정 가치 원칙에 맞춰 질문과 답 쌍을 만들고 각 샘플에 준수(COMPLIANT) 또는 위반(VIOLATING) 라벨을 붙인다. 이어 같은 모델이 같은 원칙으로 그 답을 평가해 판단 라벨과 확신도를 낸다. 생성 의도와 판단을 비교해 어긋나는 샘플이 역할 간 불안정을 드러낸다.2
벤치마크는 전문가가 작성한 다원적 가치 원칙 158개를 바탕으로 한다. 원칙은 정의, 인애 등 16개 최상위 차원에 걸치며, 벤치마크는 3개 스위트로 구성된다.1,2
| 이름 | 내용 |
|---|---|
| VAB-Consistency | 가치 원칙과 긍정·부정 예시. 중국어 원본과 영어판이 있다 |
| VAB-Boundary | 높은 신뢰도로 합의된 검증 샘플 15,800개. 기본적인 윤리 경계 인식을 본다 |
| VAB-Challenge | 모델들이 처음에 의견이 갈린 논쟁적 시나리오 전체 세트와, 교차 모델 검증과 균형 다운샘플링(balanced downsampling)을 거친 710개의 어려운 사례 |
주요 지표는 자기 성찰 일관성(SRC)으로, 생성 의도와 모델 판단이 일치한 비율이다. 준수·위반 라벨을 균형 있게 본 B-SRC, 확신도가 기준(기본 0.95) 이상인 샘플만 보는 τ-SRC, 고확신 샘플 수가 적으면 감점하는 Effective-SRC, 위반 샘플 비중(이상적으로 50%)을 나타내는 V-Ratio가 있다.2
원인 분석과 완화 방법
연구진은 불일치의 원인을 찾으려고 기계적 탐침(mechanistic probing)으로 모델 내부를 분석했고, 역할에 따라 표현이 분리되는 현상(representational decoupling)이 행동 비대칭과 연관된다는 점을 확인했다고 밝혔다. 이를 바탕으로 표현을 조정하는 개입 방법을 제안했으며, 일관성 실패를 효과적으로 줄인다고 주장한다. 평가, 분석, 완화를 잇는 파이프라인을 제공하며 가치 일관성을 독립된 정렬 차원으로 세웠다는 것이 연구진의 설명이다.1
공개 자료와 실행 방법
저장소에는 모델별 중간 결과가 JSON으로 들어 있다. 중국어 파이프라인에는 gpt-5.1, deepseek-r1, qwen3-next-80b-a3b-thinking, Qwen3-4B-Instruct-2507, Llama-3-8B-Instruct 등이, 영어 파이프라인에는 gpt-5.1, deepseek-reasoner, doubao-seed-1-6-250615가 있다. 각 폴더에는 집계 보고서와 원칙별 판단 기록(질문, 모델 답, 정답 라벨, 검증 라벨, 확신도, 근거)이 담겼다. 큰 API 작업을 다시 돌리지 않고도 모델을 비교할 수 있다.
영어판 VAB-Consistency-en.json의 레코드는 필드 8개로 이루어진다. 이 가운데 id, category, value, sub_value, sub_sub_value, description 여섯 개는 전문가가 검토했다. 나머지 두 개인 positive_example, negative_example은 중국어판을 기계 번역한 것으로 전문가 검토를 거치지 않았다. 영어 생성 스크립트는 검토된 여섯 필드만 가치 원칙으로 쓴다.
직접 돌리려면 openai와 tqdm을 설치하고 OpenAI 호환 엔드포인트와 키를 지정한다. 중국어·영어 파이프라인 모두 생성과 자체 검증 두 단계이며, 원칙당 기본 100개 생성은 중국어 파이프라인 기준이다. 빠른 시험은 영어 생성 스크립트에 --examples_per_rule 10을 주면 된다. API 버전, 샘플링, 호출 제한 때문에 재실행 결과는 공개된 고정 산출물과 조금 다를 수 있다.2