KoLing, 한국어 AI 생성 글 탐지 벤치마크 공개

한국어로 쓴 글이 사람의 것인지 대규모 언어 모델이 만든 것인지 가려내는 연구가 arXiv에 공개됐다. 논문은 표면 단서를 통제한 벤치마크 KoLing(50.9k, 약 5만 900건)과 이를 바탕으로 만든 탐지기 KoLingProbe를 제안했다.

논문은 기존 탐지 연구가 영어에 치우쳐 한국어는 거의 다뤄지지 않았다고 지적했다. 한국어 탐지를 평가한 연구도 피상적인 단서에 기대는 경우가 많아 탐지 성능이 실제보다 낙관적으로 추정됐다고 설명했다.

KoLing은 편향을 통제한 적대적 벤치마크다. 표면적 지름길을 억제하면서 글의 의미 내용은 보존하고, LLM이 처음부터 쓴 글과 LLM이 고친 글의 탐지를 따로 평가한다.

KoLingProbe는 이론언어학에 바탕을 둔 해석 가능한 탐지기로, 한국어의 고유한 특성을 여러 언어 층위에서 모델링한다. 연구진은 실험에서 모든 탐지 과제에서 강력한 기준 모델을 크게 앞섰고 적대적 공격에도 견고했다고 밝혔다.

연구진은 별도 분석에서 층위가 다른 언어 특징을 서로 보완하도록 묶으면 탐지 성능과 해석 가능성이 함께 좋아진다고 보고했다.