모델 가중치

쉽게 말하면, 가중치는 신경망이 입력을 얼마나 중요하게 볼지 정하는 숫자다. 학습 중에는 정답과 비교해 이 숫자들을 조금씩 고쳐 나가고, 학습이 끝나면 그 값에 모델이 데이터에서 배운 내용이 담긴다.

1. 개요

머신러닝과 신경망에서 가중치(weight)는 두 뉴런 사이 연결의 세기를 정하는 학습 가능한 수치 매개변수다. 가중치는 신경망이 학습 중 입력을 올바른 출력으로 옮기도록 조정하는 주된 값이다. 편향과 함께 가중치는 모델 학습 가능 매개변수의 대부분을 이루며, 그 값에는 네트워크가 데이터에서 배운 내용이 담긴다. GPT-3처럼 큰 모델에서는 가중치가 1,750억 개 매개변수의 거의 전부를 차지한다. 이 가운데 약 1,160억 개는 피드포워드 층에, 약 580억 개는 96개 층에 걸친 어텐션 투영에 있다.²

2. 단일 뉴런에서의 역할

인공 뉴런 하나는 하나 이상의 입력값을 받아 출력 하나를 낸다. 각 입력 *x_i*에 대응하는 가중치 *w_i*를 곱하고, 그 곱들을 편향 *b*와 함께 더한다. 이 가중합은 활성화 함수를 거쳐 뉴런의 출력이 된다. 입력이 *n*개인 뉴런의 식은 다음과 같다.

y = f(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)

여기서 *f*는 활성화 함수, *w₁*부터 *wₙ*까지는 가중치, *x₁*부터 *xₙ*까지는 입력, *b*는 편향이다. 가중치 *w_i*는 입력 *x_i*가 뉴런 출력에 미치는 영향의 크기를 정한다. 큰 양의 가중치는 해당 입력을 증폭하고, 큰 음의 가중치는 입력을 뒤집어 증폭하며, 0에 가까운 가중치는 그 입력을 사실상 막는다.

3. 층 안에서의 구성

실제 신경망에서는 뉴런을 층으로 묶고, 인접한 두 층 사이의 연결을 가중치 행렬로 간단히 나타낸다. 입력 뉴런이 *m*개, 출력 뉴런이 *n*개인 층의 가중치 행렬 W는 *n x m* 크기다. 활성화 함수를 거치기 전 층의 출력은 z = Wx + b로 계산한다. 여기서 x는 입력 벡터, b는 편향 벡터, z는 활성화 전 출력 벡터다. 가중치를 행렬로 묶으면 GPU와 TPU처럼 행렬 곱셈에 최적화된 하드웨어에서 계산이 효율적으로 이루어진다. *L*개 층을 가진 심층 신경망에는 층마다 하나씩 가중치 행렬이 *L*개 있고, 어텐션 헤드나 정규화 층 같은 특화된 구성 요소 안에도 추가 가중치가 있다.

4. 가중치, 매개변수, 편향의 차이

'가중치', '매개변수', '편향'은 서로 관련이 있지만 같은 말은 아니다. 가중치는 입력 신호에 곱해지는 값으로 두 뉴런 사이 연결의 세기를 정한다. 편향은 가중합 뒤에 더해지는 상수로, 활성화 함수를 좌우로 옮겨 모든 입력이 0이어도 뉴런이 활성화될 수 있게 한다. 매개변수는 모델에서 학습되는 모든 값을 가리키는 더 넓은 말로, 가중치와 편향은 물론 배치 정규화의 스케일 계수, 학습된 위치 인코딩 등을 포함한다.

연구자들이 모델의 매개변수가 '1,750억 개'라고 할 때는 네트워크의 모든 가중치와 편향을 센 것이다. 연결마다 고유한 가중치가 필요하지만 편향은 뉴런마다 하나씩 있으므로, 가중치가 매개변수의 대부분을 차지한다.

5. 가중치 초기화

학습을 시작하기 전에 신경망의 가중치에는 초기값을 줘야 한다. 초기화 전략을 어떻게 고르느냐에 따라 네트워크가 학습에 성공하는지, 수렴이 얼마나 빠른지, 최종 모델의 품질이 어떤지가 크게 달라진다.

5.1. 초기화가 중요한 이유

모든 가중치를 같은 값(예를 들어 0)으로 초기화하면, 한 층의 모든 뉴런이 같은 출력을 내고 역전파 때 같은 기울기를 받는다. 이를 대칭 문제라고 한다. 학습 내내 뉴런들이 서로 같게 남아 네트워크가 다양한 특징을 배울 수 없다. 무작위 초기화는 뉴런마다 서로 다른 출발점을 줘서 이 대칭을 깬다.

다만 무작위 값의 크기도 중요하다. 초기 가중치가 너무 크면 순전파 때 활성값이 크기를 키워 기울기 폭주 문제로 이어지고, 너무 작으면 활성값이 0으로 줄어들어 기울기 소실 문제가 생긴다. 두 경우 모두 학습이 매우 느려지거나 아예 실패할 수 있다.³

5.2. 주요 초기화 방법

Xavier(Glorot) 초기화는 층을 지나도 활성값의 분산이 대체로 일정하게 유지되도록 가중치를 정한다. 분산이 2 / (n_in + n_out)인 분포에서 가중치를 뽑으며, 여기서 n_in은 입력 수, n_out은 출력 수다. 이 방법은 0을 기준으로 대칭인 시그모이드나 tanh 활성화를 쓰는 네트워크를 위해 설계되었다.⁴

He(Kaiming) 초기화는 Xavier 방식을 ReLU 활성화 함수에 맞게 고친 것이다. ReLU는 입력의 약 절반을 0으로 만드므로, He 초기화는 분산을 2 / n_in으로 두어 Xavier보다 분산을 사실상 두 배로 잡는다. 이 방법은 ReLU와 그 변형(Leaky ReLU, ELU, GELU)을 쓰는 대부분의 현대 네트워크에서 기본값처럼 쓰인다.⁵

직교 초기화는 직교 행렬(정사각이 아닌 행렬이면 준직교 행렬)로 가중치 행렬을 만든다. 직교 행렬은 곱하는 벡터의 norm을 보존하므로, 기울기가 네트워크를 거치며 커지거나 줄어들지 않는다. 이 성질은 순환 신경망과 매우 깊은 피드포워드 네트워크에서 특히 유용하다.⁶

6. 학습 중 가중치 갱신

가중치는 반복적인 최적화 과정으로 갱신된다. 학습의 매 단계마다 네트워크가 예측을 하고, 손실 함수가 오차를 재며, 역전파가 손실의 각 가중치에 대한 기울기를 계산한다. 그다음 옵티마이저가 손실을 줄이는 방향으로 가중치를 고친다.

가장 단순한 갱신 규칙은 확률적 경사 하강법(SGD)이다. 식은 w = w - lr * (dL/dw)이며, 여기서 *w*는 가중치, *lr*은 학습률, *dL/dw*는 손실 *L*을 그 가중치로 편미분한 값이다. 학습률은 한 걸음의 크기를 정한다. 너무 크면 최적화가 지나치게 넘어가고, 너무 작으면 수렴이 느리다.

Adam, AdaGrad, RMSProp 같은 최신 옵티마이저는 기울기의 이동 평균과 기울기 제곱의 이동 평균 같은 추가 상태를 유지해, 각 가중치마다 실효 학습률을 따로 조절한다. 이런 적응형 방법은 특히 학습 초기에 일반 SGD보다 빨리 수렴하는 경우가 많다.⁷

7. 가중치 감쇠(L2 규제)

가중치 감쇠는 큰 가중치 값에 벌점을 줘서 일반화가 더 잘 되는 단순한 해를 찾게 하는 규제 기법이다. 표준 방식은 가중치 제곱합에 비례하는 항을 손실 함수에 더한다. 식은 L_total = L_original + (λ / 2) * Σ(w²)이며, 여기서 λ는 규제의 세기다. 기울기에는 각 가중치마다 λ * w가 더해져, 매 갱신마다 가중치가 0 쪽으로 밀린다. 가중치가 단계마다 실제로 줄어들기 때문에 '가중치 감쇠'라고 부른다.

표준 SGD에서는 L2 규제와 가중치 감쇠가 수학적으로 같다. 그러나 Loshchilov와 Hutter(2019)는 Adam 같은 적응형 옵티마이저에서는 이 동등성이 깨진다고 보였다. 이들은 가중치 감쇠를 기울기를 거치지 않고 가중치에 직접 적용하는 AdamW를 제안했다. 이 분리된 규칙이 Adam의 일반화 성능을 실질적으로 높인다고 보고했으며, 이미지 분류 벤치마크에서 테스트 오차가 상대적으로 약 15% 줄었다고 밝혔다. AdamW는 이후 대부분의 대규모 트랜스포머 모델 학습에서 기본 옵티마이저가 되었다.⁸

8. 가중치 공유

가중치 공유는 네트워크의 여러 부분이 독립된 복사본을 두지 않고 같은 가중치 집합을 쓰는 설계 원리다. 전체 매개변수 수를 줄이고, 일종의 규제로 작용하며, 데이터 구조에 대한 유용한 가정을 담는다.

8.1. 합성곱 신경망

가중치 공유의 대표 사례는 합성곱 신경망(CNN)에 있다. 합성곱 필터(커널)는 입력 이미지 위를 미끄러지는 작은 가중치 행렬이다. 같은 가중치가 공간상의 모든 위치에 적용되므로, 네트워크는 특징(가장자리, 질감, 모양)이 어디에 나타나든 찾아낸다. 이 이동 불변성은 가중치 공유의 직접적인 결과이며, CNN이 이미지 작업에서 효과적인 핵심 이유 가운데 하나다. 가중치를 공유하지 않으면 224x224 이미지에 3x3 필터를 적용하는 CNN은 수백만 개의 추가 매개변수가 필요하다.

8.2. 트랜스포머

트랜스포머 구조에서 가중치 공유는 압축 기법으로 연구되어 왔다. ALBERT(Lan et al., 2020) 연구에서는 모든 트랜스포머 층에 가중치를 공유하면 BERT-base의 매개변수 수가 1억 800만 개에서 1,200만 개로 줄어드는 것으로 보고되었다. 약 9배 줄어드는 셈이며, 모델 성능의 대부분은 유지되었다. 대가는 보통 정확도가 조금 떨어지는 것이고, 그 대신 메모리와 저장 공간 요구량이 크게 줄어든다.⁹

9. 가중치 묶기

가중치 묶기는 논리적으로 서로 다른 두 구성 요소가 같은 가중치 행렬을 공유하는 가중치 공유의 특수한 형태다. 대규모 언어 모델에서 가장 흔한 예는 입력 임베딩 행렬과 출력 투영 행렬을 묶는 것이다.

언어 모델에서 입력 임베딩은 토큰 ID를 밀집 벡터로 바꾸고, 출력 투영은 은닉 상태를 어휘 전체에 대한 확률 분포로 바꾼다. Press와 Wolf(2017)는 두 연산에 같은 행렬을 쓰면 퍼플렉시티가 낮아지고 매개변수 수가 크게 줄어든다고 보였다. 임베딩 행렬이 모델에서 가장 큰 구성 요소 중 하나이기 때문이다. 가중치 묶기는 GPT-2, T5, 여러 BERT 변형을 포함한 많은 주요 구조에서 쓰인다.¹⁰

2026년 연구에서는 미묘한 트레이드오프가 드러났다. 묶인 임베딩은 학습 중 주로 출력 기울기의 영향을 받아 형성되는 경향이 있어, 네트워크 초기 층의 입력 표현에 나쁜 영향을 줄 수 있다.

10. 가중치 가지치기

가중치 가지치기는 학습된 네트워크에서 가중치를 제거해 크기와 연산량을 줄이는 모델 압축 기법이다. 정확도를 크게 해치지 않는 것이 목표다. 가장 단순한 방식은 크기 기반 가지치기로, 절댓값이 일정 기준보다 작은 가중치를 0으로 만들어 해당 연결을 사실상 지운다.

Han 등(2015)은 가지치기가 매우 효과적일 수 있음을 보였다. AlexNet의 매개변수 수를 6,100만 개에서 670만 개로 줄여(9배 압축) ImageNet에서 정확도 손실 없이 달성했다. VGG-16에서도 비슷한 결과가 나왔다. 전형적인 가지치기 절차는 학습-가지치기-재학습 순환이다. 먼저 네트워크를 수렴할 때까지 학습하고, 크기가 작은 가중치를 제거한 뒤, 남은 가중치를 미세 조정해 잃은 정확도를 되찾는다.¹¹

복권 가설(Frankle과 Carbin, 2019)은 가지치기에 대한 설득력 있는 이론적 관점을 제시했다. 가설에 따르면 무작위로 초기화된 조밀한 네트워크에는 희소한 부분 네트워크("당첨 티켓")가 들어 있고, 이를 원래 초기값에서 따로 학습시키면 전체 네트워크의 정확도에 맞출 수 있다. 저자들은 핵심 발견을 다음처럼 적었다. "무작위로 초기화된 조밀한 신경망에는, 단독으로 학습시키면 원래 네트워크를 최대 같은 반복 횟수만큼 학습한 뒤의 테스트 정확도와 맞먹을 수 있도록 초기화된 부분 네트워크가 들어 있다." 실험에서 이들은 원래 네트워크 크기의 10~20% 미만인 당첨 티켓을 일관되게 찾았다고 보고했다.¹²

11. 가중치 양자화

가중치 양자화는 가중치의 수치 정밀도를 낮춰 메모리 사용량을 줄이고 추론 실행을 빠르게 한다. 신경망 가중치는 보통 32비트 부동소수점(FP32)으로 저장된다. 양자화는 이를 16비트(FP16/BF16), 8비트 정수(INT8), 심지어 4비트 정수(INT4) 같은 낮은 정밀도 형식으로 바꾼다.

양자화에는 두 가지 주요 접근이 쓰인다. 학습 후 양자화(PTQ)는 추가 학습 없이 미리 학습된 FP32 모델을 낮은 정밀도로 바꾼다. 적용이 빠르고 쉽지만, 특히 아주 낮은 비트 폭에서는 정확도가 떨어질 수 있다. 양자화 인식 학습(QAT)은 학습 중에 양자화의 영향을 모의로 적용해, 네트워크가 적응하고 낮은 정밀도에서도 높은 정확도를 유지하게 한다.

양자화는 대규모 언어 모델을 소비자용 하드웨어에 올리는 데 필수가 되었다. FP32에서 32GB를 차지하는 모델이 INT4에서는 4GB로 줄어들어, 메모리가 제한된 기기에서도 실행할 수 있게 된다.

12. 사전 학습 가중치와 전이 학습

사전 학습 가중치는 이미 대규모 데이터셋으로 학습된 네트워크의 저장된 가중치 값이다. 실무자는 새 네트워크를 처음부터 학습시키는 대신 이 가중치를 불러와 전이 학습으로 새 과제에 맞게 조정할 수 있다.

전이 학습이 통하는 이유는 신경망의 앞쪽 층이 여러 과제에 쓸 수 있는 일반적 특징(가장자리, 질감, 기초적인 언어 패턴)을 배우는 경향이 있기 때문이다. 과제에 특화된 뒤쪽 층만 크게 조정하면 된다. 흔히 쓰는 전략은 두 가지다.

• 특징 추출. 사전 학습된 층을 고정해(가중치를 갱신하지 않음) 그 위에 새 분류 헤드만 학습시킨다. 새 데이터셋이 작을 때 빠르고 효과적이다.
• 미세 조정. 사전 학습된 층의 일부 또는 전부를 고정 해제하고, 작은 학습률로 전체 네트워크를 새 데이터에 학습시킨다. 모델이 학습된 표현을 새 과제의 특성에 맞게 조정할 수 있다.

BERT, GPT, ViT, CLIP 같은 파운데이션 모델이 등장하면서 사전 학습 가중치는 거의 모든 현대 딥러닝 응용의 기본 출발점이 되었다. Hugging Face 같은 곳에는 체크포인트라고도 부르는 사전 학습 가중치 파일이 수천 개 올라와 있으며, 연구자와 개발자가 내려받아 특정 용도에 맞게 미세 조정한다.

13. 가중치 시각화와 해석

가중치를 시각화하면 신경망이 무엇을 배웠는지 알 수 있다. 합성곱 신경망에서는 첫 층의 필터를 작은 이미지로 그려 볼 수 있다. 잘 학습된 네트워크의 첫 층 필터는 보통 가장자리 검출기, 색 덩어리, Gabor형 무늬와 닮아 있으며, 이는 사람의 시각 체계가 정보를 처리하는 방식과 맞아떨어진다.

더 깊은 층이나 다른 구조에서는 가중치 행렬을 직접 그리는 방식이 덜 유용하다. 개별 가중치가 해석 가능한 특징과 대응하지 않기 때문이다. 연구자들은 대신 다음과 같은 기법을 쓴다.

• 활성화 최대화. 특정 뉴런을 가장 강하게 활성화하는 입력을 만들어, 그 뉴런이 어떤 특징을 검출하는지 드러낸다.
• 중요도 맵. 출력에 대한 기울기가 가장 큰 입력 영역을 강조해, 네트워크가 입력의 어느 부분에 주목하는지 보여 준다.
• 가중치 히스토그램. 층별 가중치 값의 분포를 그려 죽은 뉴런(0 근처 가중치가 많음)이나 폭주하는 가중치(꼬리가 두꺼움) 같은 학습 문제를 진단한다.

이런 시각화와 해석 도구는 설명 가능한 AI 분야의 일부이며, 신경망 예측에 대한 신뢰를 쌓는 데 중요하다.