Artificial Analysis가 11월 4일(현지시간) X 게시물로 AI 모델의 문체를 비교한 AA-PersonalityBench 결과를 공개했다. Z.ai의 GLM-5.3은 답변 하나에 엠 대시를 평균 7.4개 써서 측정 대상 중 가장 많았고, Claude Opus 5.5는 평균 0.02개였다.
엠 대시는 하이픈보다 긴 가로줄 문장부호다. 영어에서는 문장 중간에 설명을 끼우거나 화제를 바꾸고, 표현을 강조하거나 두 문장을 잇는 데 쓴다. AI가 쓴 영어 글에서 자주 보이는 특징으로 알려져 있다.
이번 벤치마크는 30가지 성격·문체 특성과 관련된 질문 900개를 모델에 던졌다. 별도 시스템 지시 없이 같은 질문을 주고 모델의 기본 글쓰기 습관을 비교했으며, 문장부호와 문장 길이, 목록, 이모지 사용 빈도를 분석했다. 엠 대시는 벤치마크 전체 응답에서 집계했다.
| 모델 | 평균 개수 |
|---|---|
| GLM-5.3 | 7.4 |
| GLM-5.3 Flash | 6.9 |
| Muse Wonder | 6.9 |
| Kimi K3 | 6.7 |
| Muse Spark 1.3 | 6.5 |
| Claude Fable 5.1 | 6.4 |
| Claude Opus 5.5 | 0.02 |
| GPT-3.5 Turbo | 0.00 |
Anthropic의 Claude 계열은 모델별 편차가 컸다. Opus 5.5는 답변 40개를 써도 엠 대시가 하나 나오지 않는 수준이고, Sonnet 5.5와 Haiku 5.5도 거의 쓰지 않았다. 같은 계열인 Fable 5.1은 평균 6.4개로 이들과 대조를 이뤘다.
OpenAI는 이후 모델에서 엠 대시가 잦다는 지적을 받았다. 2023년 출시된 초기 ChatGPT 모델인 GPT-3.5 Turbo는 평균 0.00개였다.
사람이 쓴 글에서도 엠 대시는 널리 쓰여서, 사용 여부만으로 AI가 썼는지 판별할 수는 없다. Artificial Analysis는 모델의 우열을 가리려는 평가가 아니며, 엠 대시가 많다고 글쓰기 능력이 높거나 낮은 것도 아니라고 밝혔다. 또 이번 결과가 모델마다 문체가 다르다는 점을 보여 준다고 설명했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- 중국 GLM-5.3, 답변마다 '엠 대시' 7.4개 사용…클로드는 거의 안 써 aitimes.com