같은 성격검사라도 대규모 언어 모델이 어느 언어로 답하느냐에 따라 결과가 달라진다는 연구가 나왔다. 중국과학기술대 연구팀이 ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, ERNIE 3.5, 프랑스 AI Le Chat을 대상으로 확인한 내용이다. 논문은 국제학술지 Royal Society Open Science에 실렸고, GIGAZINE이 10월 31일(현지시간) 이 연구를 보도했다.
차이가 가장 선명한 항목은 개방성이다. 5점 만점 평균에서 ChatGPT-4o는 영어 4.74점, 중국어 4.03점으로 중국어 쪽이 0.71점 낮았다. DeepSeek-V3는 영어 4.38점, 중국어 4.81점으로 0.43점 차이였고 방향이 거꾸로였다. Gemini 2.0 Flash도 중국어 답변에서 성실성이 높고 부정적 정서성이 낮았으며, 수치는 제시되지 않았다. 언어 차이와 별개로 모델 전반은 스스로를 협조적이며 믿을 만하다고 답했고, 부정적 정서성은 낮게 매겼다.
검사에는 빅 파이브 인벤토리-2를 썼다. 60문항으로 외향성, 협조성, 성실성, 부정적 정서성, 개방성을 측정한다. 연구팀은 사람 행세를 하지 않고 자기 특성을 직접 평가하도록 모델에 요구했고, 영어와 중국어 답변을 언어별로 30번씩 모았다. Le Chat에는 프랑스어 검사를 더했다. 실험 시기는 2025년 1~3월이다.
이 점수가 AI에게 실제 성격이 있다는 증거는 아니다. 다만 사용 언어가 응답 경향에 영향을 줄 수 있음을 보여 준다는 점에서 의미가 있다. 개발사 국적만으로는 결과를 설명하기 어렵다. 사람 표본과 견주면 모델의 응답은 개발국 사람들의 검사 결과와 일치하지 않았다.
비교에 쓴 사람 표본은 연령과 모집 방식이 서로 달랐고, 중국인 표본은 대학생으로만 이뤄졌다. 한 나라 전체의 경향으로 확대 해석하기는 어렵다. 연구팀은 차이의 원인이 학습 데이터에 담긴 문화인지, 모델 설계인지, 번역된 문항을 달리 받아들인 탓인지 가려내지 못했다고 설명했다. 모델이 사회적으로 무난한 쪽을 골랐을 가능성도 짚었다.
설문 점수 차이가 실제 대화 능력의 차이를 의미하지는 않는다. 연구팀은 AI를 평가할 때 심리검사에 그치지 말고 실제 행동을 분석하는 방법도 함께 써야 한다고 주장했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- AI도 언어 따라 다른 얼굴…5개 모델 성격검사 결과 보니 digitaltoday.co.kr