텍스트 속성 그래프(TAG)의 노드 분류에서 대규모 언어 모델 기반 기법이 보고한 최고 성적을 값싼 기준선과 비교한 연구가 2026년 10월 20일 arXiv에 공개됐다. 논문 제목은 "Big Claims, Small Margins"다. 연구진은 최근 연구 세 편이 쓴 것과 같은 데이터 분할에서 기준선 네 가지를 검증 데이터만으로 골라 조정했다.
비교 기준은 기준선과 맞춘 설정에서 각 논문이 LLM 기반 기법으로 보고한 값 중 가장 높은 평균이다. TF-IDF 특징에 Correct & Smooth를 적용한 기준선은 이 값에 중앙값 2.3%포인트 뒤졌다. 고정된 e5-large-v2 임베딩 위에 MLP를 얹은 기준선은 2.8점 뒤졌다.
Correct & Smooth는 24개 과제 중 15개에서 기준값과 3점 이내이거나 더 높았다. 다만 통계 검정이 가능한 22개 과제 중 12개에서는 LLM 기법의 기준값이 유의하게 높았고, 연구진은 보고된 이득 일부가 여전히 상당하다고 밝혔다.
연구진은 공개된 코드를 논문과 대조해 정확도 평가에 영향을 주는 위험도 정리했다. 테스트 세트로 하이퍼파라미터나 체크포인트를 고른 사례, 테스트 풀 노드의 라벨을 모델 학습에 쓴 사례, 기준선 수치를 밝히지 않고 재사용한 사례가 있었다. 공개된 Cora 로더에서는 텍스트와 라벨이 어긋난 오정렬도 발견됐다.
설정이 일치한다고 문서화되지 않은 논문들 사이에서는 같은 기법을 같은 분할에서 보고한 수치가 최대 12.5점 차이 났다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.