같은 분자라도 어떤 표기로 묻느냐에 따라 대규모 언어 모델이 꺼내는 지식이 달라진다는 연구 결과가 arXiv에 공개됐다. 논문은 화학 AI 작업에서 관용명, IUPAC 명칭, SMILES가 모두 같은 분자를 가리키므로 모델의 지식에 똑같이 접근할 수 있다고 보는 가정이 성립하지 않는다고 밝혔다.
연구진은 통제된 벤치마크를 새로 만들어 매개변수 7B에서 72B 규모의 파운데이션 모델을 시험했다. 화학에 특화된 모델도 대상이었고, 같은 분자를 가리키는 표기마다 모델이 드러내는 지식의 범위가 일관되게 달랐다고 한다.
모델이 SMILES만 보고 분자를 알아볼 수 있고 대응하는 이름으로는 어떤 사실을 꺼내는 경우에도, 같은 사실을 SMILES로 직접 물으면 접근하지 못하는 일이 있었다. 연구진은 이 현상을 교차 식별자 결합 실패(cross-identifier binding failure)라고 이름 붙였다.
내부 표현, 서로 충돌하는 식별자, 매개변수 편집을 분석한 결과, 화학 구조를 더 잘 표현하게 하거나 개별 사실을 고치는 것만으로는 표기 사이의 안정적인 접근이 만들어지지 않았다. 연구진은 문제의 핵심이 모델에 이미 있는 지식과 식별자를 잇는 결합에 있다고 진단했다.
대응책으로 연구진은 Binding Self-Distillation을 제안했다. 학습 중 어휘상 동일성을 이용해 모델이 가진 지식 접근 경로를 구조 표기 쪽으로 옮기는 지식 증류 방식이다. 연구진은 이 방법으로 추론 때 이름 조회 없이 SMILES에서 바로 사실을 꺼낼 수 있고, 기반 모델을 처음부터 학습할 필요도 없다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.