성능과 평가

OSynth 공개, 회의 음성 570시간 담은 맥락 평가 데이터셋

OSynth는 가상 조직 회의 음성 570시간과 관련 자료를 묶은 대규모 합성 데이터셋이다. 사람 평가자가 실제 회의록과 구분한 정확도는 56%에 그쳤고, 맥락을 더하면 LLM의 개체 관련 항목 성적이 크게 올랐다.

루카스 ·

회의 내용을 자동으로 정리하는 AI의 이해력을 길게 이어진 맥락 속에서 재는 대규모 합성 데이터셋 OSynth가 2026년 10월 21일 논문(arXiv)으로 공개됐다. 시뮬레이션으로 만든 여러 가상 조직의 회의 음성 570시간에 관련 자료, 그리고 겉으로 드러나지 않는 실제 정답 상태(latent ground-truth state)를 함께 담았다.

논문은 회의록 작성 도구가 캘린더 메타데이터, 이전 회의, 이메일, 슬라이드, 화자 등록 정보 같은 장기 맥락을 쓸 수 있는 환경에서 점점 많이 쓰인다고 설명한다. 그러나 기존 회의 말뭉치는 규모, 영역 범위, 제공되는 맥락이 모두 제한적이라고 지적했다.

논문은 쌍 비교 방식으로 사람 평가자에게 OSynth 회의와 실제 회의 녹취록을 150~300단어 발췌로 보여 주고 어느 쪽이 실제인지 고르게 했다. 평가자의 구분 정확도는 56%에 그쳤다.

최신 LLM 여러 종을 대상으로 한 실험에서는 맥락을 추가하자 개체에 민감한 여러 평가 항목에서 유의미한 성능 향상(significant gains)이 나타났다. 연구진은 이 결과가 현대 접근법의 한계를 보여 주며, 맥락을 더 잘 활용하는 회의 이해 시스템을 개발하는 데 OSynth가 쓸모 있을 수 있다고 밝혔다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.