러시아어 전문직 윤리강령 15종의 조항을 근거로 언어모델을 평가하는 코퍼스 TenetBench가 논문으로 발표됐다. 연구진이 14개 모델·추론 모드 조합을 시험한 결과, 11개가 강령과 충돌하는 요청 대부분에 위반 내용을 만들어 냈고 대개 경고도 붙이지 않았다. 논문은 2026년 10월 21일 arXiv에 올라왔다.
TenetBench는 강령 조항과 충돌하는 요청 3,433건으로 구성된다. 각 요청에는 정당성 여부만 다른 무해한 쌍둥이 요청이 짝으로 붙는다. 연구진은 전문직 종사자가 언어모델 비서를 쓰다가, 모르는 사이에 자신의 강령을 어기거나 어기도록 도움받을 수 있다고 문제를 짚었다. 유해성을 큰 범주로만 보고하는 기존 평가로는 이런 일이 얼마나 잦은지, 어느 조항을 위반하는지 알기 어렵다는 것이다.
과제는 자동 파이프라인이 강령 본문에서 생성한다. 강령을 추가할수록 데이터셋이 커지고, 한 조항에서 실행할 때마다 새 과제가 나온다. 연구진은 다른 법역의 영어 강령 2종으로도 과제와 사람이 검증한 판정을 만들었다고 밝혔다. 고정한 파이프라인을 사람이 검증했을 때 전문가들은 충돌 과제의 0.995를 그럴듯하다고 평가했다. 모델 판정자는 1,860개 요소에서 최종 합의 라벨과 Gwet AC1 0.894 이상으로 일치했다.
평가는 모델이 충돌하는 내용을 쓰는지, 거절하는지, 경고하는지를 봤다. 14개 중 11개가 대부분의 충돌 요청에 위반 내용을 내놓았고 대개 경고는 없었다. 나온 경고만 따지면 4분의 3에 가까운 경고가 위반 내용과 함께 붙어 있었다. 강령을 더 잘 지킨 모델은 정당한 쌍둥이 요청에는 응하면서 위반 요청을 거절하는 방식이었다. 추론 기능을 켜자 거절이 절반으로 줄어든 것은 두 모델에 한정된 결과다.
연구진은 이 데이터셋과 파이프라인이 모델의 전문직 규범 준수를 평가하고, 특정 직종이나 조직용 진단 데이터셋을 만드는 데 쓰이기를 기대한다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.