중국어 환경에서 거대 언어 모델이 사회적 상황을 얼마나 알아채고 대응하는지 재는 벤치마크 APRiL이 2026년 10월 14일 arXiv에 논문으로 올라왔다. 문항마다 별도의 채점 기준(루브릭)을 둔 오픈형 방식이며, 데이터와 코드는 공개돼 있다.
APRiL은 6개 범주에 걸친 사회적 인식 평가 문항 2,196개로 이뤄진다. 과제는 둘로 나뉜다. 사회 상황 분석은 모델이 사회적 단서, 심리 상태, 갈등 구조를 이해하는지 평가하고, 사회적 인식 응답은 그 이해를 적절하고 자연스러운 답변으로 옮기는지 본다.
연구진은 기존 벤치마크가 특정 사회적 능력, 제한된 과제 형식, 특정 상호작용 환경에 치우쳐 다양한 맥락의 사회적 인식을 폭넓게 다루지 못했다고 지적했다. 언어 모델이 사회적 상호작용에 쓰이는 일이 늘면서, 적절한 응답에는 암묵적 단서 파악, 심리 상태 추론, 갈등 식별, 결과 예측이 필요하다는 것이 연구진의 문제의식이다.
6개 계열의 모델 12개를 실험한 결과, 상황을 이해하는 능력과 실제 응답 사이에 일관된 격차가 있었다고 연구진은 밝혔다. 질 높은 상황 분석은 응답을 개선하고, 약한 분석은 응답 품질을 떨어뜨릴 수 있다는 것이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.