ResNSC, 잔차 폭 고려해 트랜스포머 자원 배분 개선, LLaMA-7B 정확도 최대 5.46%p↑

Neural Spectral Capacity(NSC)에 잔차 문맥을 더한 ResNSC가 arXiv에 공개됐다(2026-10-22 게시). 층별 폭을 달리하는 트랜스포머에서 학습 없이 구조 명세만으로 자원을 배분하는 방식이다. 121M, 374M 규모 사전 학습에서는 비슷한 매개변수 예산의 다른 배분 방식보다 평균 퍼플렉서티가 낮았다고 논문은 밝혔다.¹

기반이 된 NSC

무작위 초기화를 가정하면 Marchenko–Pastur 법칙에 따라 각 가중치 행렬의 특이값 분포가 행렬 모양과 초기화 분산의 함수로 정해져, CPU에서 마이크로초 단위로 계산된다. 점수가 층별 합이어서 자원 예산 아래 최대화는 유한 배낭 문제가 되고, NSC-DP가 동적 계획법으로 정확히 푼다.²

ResNSC 논문은 NSC가 각 투영을 독립적으로 채점해, 같은 층 구성을 호환되는 순서로 바꿔도 점수가 같다는 한계를 지적했다. 잔차 폭이 층마다 다르면 앞선 선택이 뒤 점수에 영향을 주므로, 누적 잔차 갱신에 대한 명세 기반 통계 기준을 써서 각 투영의 입력·잔차 상태 통계를 정한다. 데이터나 실제 가중치 없이 점수를 더해 가는 구조는 유지한다.

할당기 NSC-DP에는 층과 예산 상태 외에 잔차 이력을 추가했다. ResNSC-DP는 자원 예산 안에서 잔차 폭과 피드포워드 폭을 함께 배분하며, 지정한 유한 후보 집합에서 수치로 평가한 최고 ResNSC 점수에 대한 인증된 한계를 제공한다.¹

실험 결과

ResNSC 논문에 따르면 선택된 구조는 FineWeb-Edu, WikiText-2, LAMBADA에서 균일, 가변 폭, 점감형 배분보다 평균 퍼플렉서티가 낮았다.¹

NSC 저장소의 GitHub README에 따르면 FlexiBERT의 BERT 구조 500개에서 NSC는 GLUE 점수 대비 Kendall τ 0.695를 보였고, 매개변수 수 0.485, FLOPs 0.552보다 높았다. 매개변수 차이가 10% 미만인 쌍으로 제한한 Kendall τ는 NSC가 0.505, 매개변수 수가 0.082였다.

NSC 저장소 README의 NSC-DP 결과는 ResNSC-DP 실험과는 별개다. Transformer-XL(WikiText-103)에서 NSC-DP는 CPU 코어 하나로 2.0초 만에 사람이 설계한 기준 모델을 넘는 구조를 찾았고, 프록시 기반 진화 탐색보다 400배 넘게 빠르다고 저자들은 밝혔다.

LLaMA-7B(6.7B)를 5.7B로 줄인 실험에서 NSC-DP는 보정 데이터 없이 8개 상식 추론 과제 평균 65.47을 기록해 5.7B 모델 중 최고라고 저자들은 밝혔다. 원 모델의 평균은 69.72다. 기준선은 사전 학습 가중치와 WikiText-103 보정 미니배치를 진화 탐색의 적합도로 삼았지만, NSC-DP는 둘 다 쓰지 않았다. NSC-DP의 소요 시간은 0.5초이며, 저자들은 가장 강한 학습 없는 프록시 기준선보다 약 5,900배 빠르다고 밝혔다.²

ResNSC 논문은 짝지어 뒤집은 구성이 투영 모양과 NSC 점수를 유지하면서도 사전 학습과 LLaMA-7B 프루닝 두 설정 모두에서 성능을 떨어뜨렸다고 보고했다. 논문은 이 결과가 위치와 무관한 채점이 가린 성능 차이를 드러낸다고 주장했다.¹