텍스트·이미지·음성 세 채널에 나뉜 모호성을 얼마나 잘 풀어내는지 재는 벤치마크 TRIAD가 논문으로 공개됐다. 연구진이 옴니 모달 시스템 14개를 평가했더니, 가장 성적이 좋은 모델도 그룹 정확도에서 사람보다 20점 넘게 낮았다.
TRIAD는 사람이 직접 쓴 질문 327개로 구성되며, 장면 묶음 86개와 모호성 범주 18개를 아우른다. 문항 하나는 텍스트, 이미지, 음성 한 벌에 질문과 보기가 붙은 형태다. 세 가지를 모두 봐야 정답이 하나로 정해지고, 어느 한 채널을 빼면 입력과 맞는 보기가 하나로 정해지지 않도록 설계했다.
연구진은 문항별 성적이 좋아도 장면 단위로 모호성을 안정적으로 풀지는 못한다고 밝혔다. 보기를 없애면 격차가 더 벌어져, 모델의 그룹 정확도는 한 자릿수까지 떨어졌고 사람은 높은 수준을 유지했다.
연구진은 한 채널씩 빼는 실험과, 전사문이나 설명으로 바꿔 비교하는 대조 실험도 했다. 두 실험 결과, 텍스트와 이미지가 함께 주어지면 현재 시스템이 음성 단서를 자주 덜 활용하는 것으로 나타났다.
기존 멀티모달 벤치마크는 대체로 이미 답이 정해진 입력을 두고 인식이나 추론 능력을 시험했다. 연구진은 TRIAD가 평가 기준을 인식에서 모호성 해소로 옮긴다며, 분류 체계와 벤치마크, 진단 절차를 함께 제공한다고 설명했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.