TabPFN, 학습 기록만으로 새 학습 결과 예측해 미세조정 LLM 맞먹어

기존 신경망 학습 실험 기록으로 아직 돌리지 않은 학습의 결과를 예측하는 연구가 arXiv에 공개됐다. 논문은 다른 모델의 학습 양상을 예측하는 모델을 Meta 모델(meta-model)로 부르고, 기성(off-the-shelf) 표 데이터 in-context 학습기인 TabPFN이 평가한 여러 설정에서 미세조정한 LLM Meta 모델과 같거나 더 나은 성능을 냈다고 밝혔다. 연구진은 이 결과를 목표를 향한 '첫 번째의 소박한 경험적 걸음'이라고 표현했다.

연구진은 실제 언어 모델의 학습 기록을 숫자 데이터 그대로 다뤘다. 최근 연구는 학습 설정을 토큰으로 바꿔 LLM을 미세조정하는데, 이 방식은 GPU 수십~수백 시간이 든다. TabPFN은 과제별로 가중치를 갱신하지 않고, 맞추고 예측하는 데 몇 초가 걸린다고 논문은 설명했다.

연구진은 최종 성능 예측, 학습 곡선 예측, 하이퍼파라미터 선택을 같은 '학습 반응 함수'에 던지는 서로 다른 질문으로 본다. 이런 관점에서 Meta 모델링은 LLM이 처리하는 텍스트 과제가 아니라 별도의 숫자 양식으로 다뤄야 한다고 주장했다.

TabPFN에 콜모고로프-아놀드 네트워크(KAN)를 더하면 일부 예측 과제에서 정확도가 더 오른다고 연구진은 밝혔다. 또 매개변수 5350억 개 규모의 공개 학습 "Marin Hero Run"의 예측을 미리 등록했다. 이 학습의 실제 값은 학습이 진행되며 한 점씩 공개되고, 예측은 예측 시점에 아직 관측되지 않은 학습 결과에 대해 시험된다.