SimplexLoRA는 미세 조정 도중 어댑터별 랭크를 중요도에 따라 조정하는 LoRA 변형 기법이다. 논문은 2026년 10월 27일 arXiv에 올라왔다. 표준 LoRA가 모든 층에 같은 랭크를 쓰는 것과 달리, 학습된 중요도에 맞춰 랭크를 달리 배분한다.
연구진은 전체 매개변수 예산과 추론 비용을 늘리지 않고도 필요한 곳에 용량을 몰아줄 수 있다고 밝혔다. 12개 과제(언어 이해, 요약, 추론)에서 DeBERTaV3, BART-large, Llama 3.1 8B, Qwen3-8B로 평가한 결과, 표준 LoRA와 최근 적응형 기법에 견줘 일관되게 같거나 나은 성능을 보였다고 한다. 가장 큰 향상은 낮은 랭크에서 나타났다.1
작동 방식
LoRA는 선택한 층에 작고 학습 가능한 어댑터를 끼워 넣어 미세 조정하는 방식이다. SimplexLoRA는 짧은 준비 단계(warm-up) 동안 어댑터별 중요도 가중치를 n 배율 단체(n-scaled simplex) 위에서 최적화한 뒤 그 값을 고정한다. 연구진은 이 방식으로 용량을 가장 도움이 되는 곳에 동적으로 배분한다고 밝혔다.1
논문 제목은 "SimplexLoRA: Dynamic Rank Updating via Alternating Minimization with Simplex Projection"이다. 연구진이 공개한 GitHub 저장소에는 설치 절차와 GLUE 실험 실행 스크립트(run_glue_experiments.sh)가 있다. 저장소는 파이썬 3.11.7과 conda 환경, 가상환경(venv) 생성, pip 24.1.1, requirements.txt 패키지 설치, 저장소에 포함된 peft 수정본 설치를 필수 단계(required)로 안내한다.1,2