DiagSafe, 프롬프트별 루브릭으로 LLM 안전성 진단 평가 공개

연구진이 안전한지 위험한지만 가르는 기존 방식 대신, 프롬프트마다 별도 루브릭을 붙여 대규모 언어 모델(LLM)의 안전성을 진단하는 평가 프레임워크 DiagSafe를 논문으로 공개했다. 논문은 2026년 10월 21일 arXiv에 올라왔다.

연구진은 기존 벤치마크가 대체로 이분 라벨에 의존해 판정 이유를 설명하지 못하고, 자동 평가자끼리도 결과가 잘 일치하지 않는다고 지적했다. 연구진은 DiagSafe가 사람 판정과 95.34% 일치했고, 비교한 기준선은 69~87%였다고 밝혔다. 평가자 간 일치도를 나타내는 코헨의 카파는 0.864였으며, 연구진은 이를 높은 평가자 간 일관성으로 설명했다.

루브릭은 전 세계에 통용될 수 있는 AI 안전 정책에 근거하며 기준을 두 축으로 나눈다. 안전 축은 구체적인 위해를 겨냥하되 예외 조항을 두어 오탐을 줄이고, 유용성 축은 지시를 얼마나 이행했는지를 안전성과 따로 평가한다. 연구진은 실험에서 사람 판정과의 일치율이 95.34%로 나타났다며, DiagSafe가 LLM 평가자 방식 평가의 신뢰도를 크게 높인다고 주장했다.

평가용 벤치마크는 영어와 중국어를 모두 쓰며 84개 안전 라벨 분류 체계를 바탕으로 만들었다. DiagBase는 단일·다중 턴 프롬프트로 직접적인 유해 질문과 템플릿 기반 탈옥을 다룬다. DiagAttack은 유해한 의도를 복잡한 지시 수행 과제 속에 넣어 만든 어려운 지시 공격이다.

연구진이 이 프레임워크로 선도 LLM을 평가해 보니 모델마다 위험 응답 비율이 크게 달랐고, 차원별로 서로 다른 취약점을 보였다고 한다. 연구진은 평가한 선도 LLM들이 중국어와 다중 턴 상황에서 특히 취약한 것으로 관찰했다. 연구진은 DiagSafe가 LLM 정렬을 점검하고 개선하는 데 쓸 수 있는 신뢰할 만하고 설명 가능한 도구라고 밝혔다.