배치 크기

쉽게 말하면, 배치 크기는 모델이 한 번에 몇 개의 예시를 보고 나서 가중치를 한 번 고칠지 정하는 숫자다. 예시를 많이 묶으면 방향이 정확해지지만 계산과 메모리 부담이 커지고, 적게 묶으면 자주 고칠 수 있는 대신 방향이 흔들린다. 그래서 배치 크기는 학습 속도와 모델 품질 사이에서 균형을 잡아야 하는 중요한 설계 결정이다.

1. 개요

배치 크기는 모델이 경사 하강법의 한 단계로 가중치를 갱신하기 전에 함께 처리하는 학습 예시의 수다. 각 반복에서 모델은 배치에 대해 순전파를 수행하고, 손실 함수를 계산하고, 역전파로 기울기를 구해 가중치를 갱신한다. 따라서 배치 크기는 각 기울기 추정치에 몇 개의 예시가 기여하는지를 정한다.

배치 크기는 학습률, 학습 속도, GPU 메모리 사용량, 일반화와 밀접하게 얽혀 있다. 계산 효율과 모델 품질 사이에서 균형을 맞춰야 하므로, 배치 크기 선택은 딥러닝 실험 설계에서 가장 중요한 결정 가운데 하나로 꼽힌다.

2. 경사 하강법의 세 가지 변형

배치 크기에 따라 쓰이는 경사 하강법의 변형이 정해진다. 대표적인 세 가지 변형은 다음과 같다.

실무에서 딥러닝 문헌의 'SGD'는 거의 항상 배치 크기 32에서 수천 사이의 미니배치 경사 하강법을 가리키며, 예시 하나만 쓰는 방식을 뜻하지 않는다.

3. 배치 크기가 학습에 주는 영향

3.1. 일반화

작은 배치로 학습한 모델이 본 적 없는 데이터에 더 잘 일반화되는 경향은 여러 연구에서 꾸준히 확인된다. Keskar 등(2017)은 대규모 배치 학습이 손실 지형의 좁은 골짜기에 해당하는 '날카로운 극소점(sharp minima)'으로 수렴하는 반면, 작은 배치 학습은 넓은 분지에 해당하는 '평평한 극소점(flat minima)'을 찾는다고 보고했다. 이 논문은 대규모 배치 방법이 학습 함수와 테스트 함수의 날카로운 극소점으로 수렴하는 경향이 있고, 잘 알려진 대로 날카로운 극소점은 일반화 성능을 떨어뜨린다고 밝혔다.²

평평한 극소점이 더 잘 일반화되는 까닭은 가중치가 조금 바뀌어도 손실이 안정적으로 유지되기 때문이다. 이 효과의 원인은 기울기 잡음이다. 작은 배치의 기울기 추정치는 본질적으로 잡음이 많고, 이 잡음이 일종의 암묵적 규제로 작용해 옵티마이저가 테스트 데이터에서 성능이 나쁜 날카로운 골짜기에 머무르지 않도록 막는다.

Smith와 Le(2018)는 SGD에서 확률적 잡음의 크기가 학습률과 배치 크기의 비율에 대략 비례한다는 점을 보여 이 현상을 정식화했다. 이 통찰은 배치 크기 선택이 테스트 성능에 큰 영향을 주는 이유를 설명한다.³

다만 이 관계가 절대적인 것은 아니다. 적절한 하이퍼파라미터 튜닝과 학습률 워밍업 같은 기법을 쓰면 작은 배치와 큰 배치의 일반화 격차를 자주 메울 수 있다.

3.2. 학습 속도와 처리량

큰 배치는 최신 하드웨어에서 더 많은 병렬 처리를 가능하게 한다. GPU와 TPU는 큰 행렬 연산을 효율적으로 처리하도록 설계되어 있어, 배치 크기를 4배로 늘려도 반복 한 번에 걸리는 시간은 1.5~2배 정도만 늘어날 수 있고 데이터 처리량은 크게 높아진다.

다만 배치가 커지면 에포크마다 이루어지는 매개변수 갱신 횟수가 줄어들어, 옵티마이저가 가중치를 조정할 기회도 줄어든다. 에포크당 벽시계 시간은 줄어드는데도, 에포크 기준으로 보면 수렴이 느려질 수 있다.

3.3. 메모리 사용량

배치 크기는 GPU 메모리 사용량에 직접 영향을 준다. 배치의 각 예시마다 입력 데이터, 역전파를 위해 저장하는 중간 활성값, 계산된 기울기를 담을 메모리가 필요하다. 활성값 메모리는 배치 크기에 선형으로 비례하며, 트랜스포머 구조에서는 활성값이 보통 메모리 요구량의 대부분을 차지한다.

GPU 메모리에 들어가는 최대 배치 크기는 모델 구조, 입력 차원, 수치 정밀도(FP32 대 FP16/BF16), 기울기 체크포인팅 같은 메모리 절약 기법의 사용 여부에 따라 달라진다.

4. 배치 크기가 보통 2의 거듭제곱인 이유

실무자들은 흔히 32, 64, 128, 256, 512처럼 2의 거듭제곱인 배치 크기를 고른다. 이 관례는 GPU의 메모리와 연산 장치 구성에서 비롯된다. GPU 워프 크기, 메모리 버스 폭, CUDA 코어 묶음이 모두 2의 거듭제곱을 기준으로 짜여 있어, 이 크기에 맞춘 배열의 텐서 연산이 더 효율적일 수 있다.

대부분의 딥러닝 프레임워크의 바탕이 되는 NVIDIA의 cuDNN 라이브러리는 텐서 차원이 8 또는 16의 배수일 때 커널을 최적화한다. 2의 거듭제곱을 쓰면 이 정렬 요구 조건을 자연스럽게 만족한다.

Raschka(2022)와 Weights & Biases의 실험에서는 최신 하드웨어에서 배치 크기 128과 127의 처리량 차이가 무시할 만하다는 결과가 나왔다. 48, 96, 384 같은 2의 거듭제곱이 아닌 크기도 실제로는 잘 작동한다. 이 관례는 엄격한 필요보다 습관과 편의 때문에 유지되는 경우가 많다.⁴

5. 기울기 잡음

미니배치 기울기는 전체 데이터셋으로 계산한 참 기울기의 확률적 추정치다. 미니배치 기울기와 참 기울기의 차이를 '기울기 잡음(gradient noise)'이라고 부른다. 이 잡음은 배치 크기의 제곱근에 반비례한다. 배치 크기가 1이면 추정치가 매우 시끄럽고, 전체 데이터셋을 쓰면 잡음 없이 정확한 기울기를 얻는다.

기울기 잡음은 두 가지 효과를 낸다.

• 긍정적 효과: 옵티마이저가 날카로운 극소점과 안장점에서 벗어나도록 돕고, 일반화를 높이는 암묵적 규제 효과를 준다.
• 부정적 효과: 과도한 잡음은 수렴을 막고 학습 과정을 불안정하게 만든다.

5.1. 기울기 잡음 척도의 정의와 해석

McCandlish 등(2018)은 기울기 추정치의 신호 대 잡음비를 특성화하는 측정 가능한 양으로 기울기 잡음 척도를 정식화했다. 정의는 다음과 같다.⁵

B_{\text{noise}} = \frac{\mathrm{tr}(\Sigma)}{\lvert G \rvert^2}

여기서 tr(Σ)는 예시별 기울기 공분산 행렬의 대각합(trace)이고, |G|는 참 기울기의 노름이다. 이는 기준점을 제공한다. 배치 크기가 B_noise보다 작으면 학습은 잡음이 지배적이어서 예시를 하나 더할 때마다 얻는 정보가 크다. 배치 크기가 B_noise보다 크면 학습은 계산 지배 구간에 들어가 예시를 더해도 얻는 이득이 줄어든다.

기울기 잡음 척도는 학습 중에도 고정되지 않는다. 초기화 시점에는 보통 작다. 수렴에 가까워지면 참 기울기는 줄어드는 반면 예시별 변동은 남아 있어 잡음 척도가 커진다.

6. 임계 배치 크기의 정의

McCandlish 등(2018)은 데이터 병렬성과 계산 효율 사이의 최적 절충점을 나타내는 배치 크기, 즉 임계 배치 크기(critical batch size)를 도입했다. 임계 배치 크기보다 작을 때는 배치를 두 배로 늘리면 목표 손실에 도달하는 데 필요한 최적화 스텝 수가 거의 절반으로 줄어든다. 그보다 크면 배치를 두 배로 늘려도 스텝 수 감소 폭이 작아져 계산이 사실상 낭비된다.⁵

임계 배치 크기는 기울기 잡음 척도와 직접 이어진다. B_crit은 B_noise와 대략 같다. B가 B_crit보다 훨씬 작으면 잡음이 지배적이어서 예시를 더 모으는 것이 신호 대 잡음비를 크게 높인다. B가 B_crit보다 훨씬 크면 기울기 추정치가 이미 정확해서 예시를 더해도 새로운 정보가 거의 없다.

Kaplan 등(2020)은 언어 모델링에서 임계 배치 크기와 학습 손실을 잇는 스케일링 법칙을 발견했다.⁶

이는 모델이 나아져 손실이 줄어들수록 임계 배치 크기가 커진다는 뜻이며, 현대 대규모 언어 모델 학습에서 매우 큰 배치를 쓰는 것을 뒷받침한다.

6.1. LLM을 위한 임계 배치 크기 재검토

2025년 Allen AI의 언어 모델 사전 학습 연구는 임계 배치 크기 틀을 다듬어 몇 가지 주목할 만한 결과를 내놓았다.

• 임계 배치 크기는 초기화 시점에는 0에 가깝고, 학습 초반 10~20%에서 빠르게 커진 뒤 평평해진다.
• 필요할 때 배치 크기를 두 배씩 키우는 배치 크기 워밍업 전략은 총 기울기 스텝을 최대 43%까지 줄일 수 있다. 저자들은 이 방식으로 OLMo 1B를 기존 학습보다 기울기 스텝을 43% 적게 쓰고도 약간 더 나은 손실에 도달하도록 학습시켰다고 보고했다.
• 원래의 기울기 잡음 척도 공식은 Adam으로 학습한 현대 LLM의 임계 배치 크기를 안정적으로 예측하지 못한다. 직접 실측하는 편이 더 신뢰할 만하다.
• 임계 배치 크기는 모델 크기와는 대체로 무관하고 주로 데이터 양에 따라 커진다. 배치를 얼마나 키울 수 있는지는 파라미터 수가 아니라 데이터 양이 정한다.⁷

7. 배치 크기에 따른 학습률 조정

배치 크기와 학습률의 관계는 딥러닝 최적화에서 가장 많이 연구된 주제 가운데 하나다.

7.1. 선형 스케일링 규칙

Goyal 등(2017)은 선형 스케일링 규칙을 제안했다. 이 규칙은 미니배치 크기를 k배 하면 학습률도 k배 하라는 것이다. 직관은 이렇다. k배 큰 배치는 k배 많은 예시를 평균하므로, 잡음에 비해 실질적인 스텝 크기를 같게 유지하려면 학습률을 비례해서 키워야 한다.

Goyal 등은 이 규칙을 써서 ResNet-50을 ImageNet으로 256개 GPU에서 배치 8,192장으로 1시간 만에 학습시켰다. 이때 top-1 검증 오류율은 23.74%로, 작은 배치 기준선인 23.60%와 비슷했다(정확도 약 76.3%).⁸

핵심 보완 요소는 점진적 워밍업이었다. 작은 학습률에서 출발해 처음 몇 에포크 동안 목표 값까지 선형으로 올려, 큰 학습률이 무작위로 초기화된 모델을 불안정하게 만드는 것을 막는다.

다만 선형 스케일링 규칙은 배치가 매우 클 때 깨지는 경향이 있다. 규정한 대로 학습률을 맞춰도 일반화 성능이 떨어질 수 있다.

7.2. 제곱근 스케일링 규칙

대안은 제곱근 스케일링 규칙이다. 배치 크기를 k배 하면 학습률에 √k를 곱한다. 이 규칙은 배치 크기가 달라도 기울기 잡음 수준을 일정하게 유지한다는 이론적 근거를 갖고 있으며, 일부 설정에서는 Adam 같은 적응형 옵티마이저와 더 잘 맞는 경향이 있다.

7.3. 스케일링 없음

일부 실무자는 Adam과 AdamW가 배치 크기 변화에 덜 민감해 학습률을 조정할 필요가 없다고 본다. 다만 이는 과제에 따라 다르다.

7.4. 학습률을 줄이는 대신 배치 크기 늘리기

Smith 등(2018)은 학습 중 학습률을 낮추는 표준 관행 대신, 학습률은 고정하고 배치 크기를 키우는 대안을 제안했다. 두 방식은 기울기 신호 대 잡음비에 미치는 효과가 수학적으로 동등하다. 다만 배치 크기를 키우면 다중 GPU 시스템에서 데이터 병렬성이 커져 벽시계 학습 시간이 줄어든다.

이 기법은 SGD, 모멘텀을 적용한 SGD, 네스테로프 모멘텀, Adam으로 검증되었다. 같은 에포크 수를 학습하면 동등한 테스트 정확도에 도달하면서도 매개변수 갱신 횟수는 더 적었다.³

8. 대규모 배치 학습 기법

대규모 배치 학습은 GPU와 TPU 전반에서 데이터 병렬성을 키워 전체 벽시계 학습 시간을 줄인다. 그러나 배치 크기를 무턱대고 키우면 모델 품질이 떨어지는 경우가 많다. 이 문제를 풀기 위해 여러 기법이 개발되었다.

8.1. LARS(층별 적응 학습률 스케일링)

You 등(2017)은 LARS를 도입했다. LARS는 층마다 가중치 노름과 기울기 노름의 비율에 따라 서로 다른 학습률을 적용한다. 이러한 층별 적응은 매우 큰 배치에서도 학습을 안정시킨다. 논문은 LARS를 쓰면 AlexNet은 배치 크기 8K, ResNet-50은 배치 크기 32K까지 정확도 손실 없이 확장할 수 있었다고 보고했다.⁹

LARS를 바탕으로 You 등(2018)은 ResNet-50을 ImageNet에서 배치 크기 32,768로 학습해 14분 만에 top-1 정확도 74.9%에 도달했다. 전체 90 에포크 일정은 20분에 마쳤다.¹⁰

8.2. LAMB(배치 학습을 위한 층별 적응 모멘트)

You 등(2020)은 층별 적응 방식을 Adam 계열 옵티마이저로 확장한 LAMB를 개발했다. LARS는 BERT처럼 어텐션 기반 모델에서 성능이 나빴고, 이것이 LAMB 개발의 동기가 되었다.

LAMB는 Adam의 갱신 규칙에 층별 정규화를 더했다. 이로써 배치 크기 65,536까지 BERT 사전 학습이 가능해졌고, TPUv3 Pod에서 학습 시간을 3일에서 76분으로 줄였다.¹¹

8.3. 작은 배치 학습 재검토

대규모 배치 확장에 관한 연구가 많았음에도, 2025년 NeurIPS 논문은 작은 배치 언어 모델 학습을 다시 살펴보고 모멘텀 없이도 배치 크기 1까지 바닐라 SGD로 안정적으로 학습할 수 있음을 밝혔다. 작은 배치는 하이퍼파라미터 선택에 대해 일관되게 견고한 모습을 보였다.

저자들은 여러 장치에서 학습하는 경우가 아니라면 기울기 누적을 권하지 않는다. 많은 실무 환경에서 기울기 누적은 더 자주 하는 작은 갱신에 쓰였어야 할 연산을 낭비한다고 주장했다.¹²

이는 효율적인 학습을 위해 큰 배치가 반드시 필요하다는 기존 통념에 의문을 던진다.

9. 현대 LLM 학습의 배치 크기

현대 대규모 언어 모델 학습은 예시 수 대신 토큰 단위로 배치 크기를 잡는다. 시퀀스 길이가 제각각일 수 있기 때문이다. 유효 토큰 배치 크기는 배치당 시퀀스 수에 시퀀스 길이를 곱한 값이다.

배치 크기 워밍업은 LLM 사전 학습의 표준 관행이다. 임계 배치 크기가 낮은 학습 초기에는 작은 배치로 시작하고, 학습이 진행되면서 배치를 키운다. LLaMA 3(405B)는 4M 토큰에서 시작해 약 2억 5,200만 토큰 부근에서 8M으로, 약 2조 8,700억 토큰 부근에서 다시 16M으로 두 배씩 늘렸다. GPT-3도 비슷하게 학습 중 배치 크기를 키웠다. 이 방식은 변해 가는 임계 배치 크기에 학습 효율을 맞춘다.¹³

10. 마이크로배치와 기울기 누적

목표 배치 크기가 GPU 메모리에 담을 수 있는 양을 넘으면 기울기 누적(마이크로배치라고도 함)이 해법이 된다. 학습 과정은 다음과 같다.

• 목표 배치를 메모리에 들어가는 작은 마이크로배치로 나눈다.
• 마이크로배치마다 순전파와 역전파를 수행해 기울기를 모으고, 이 단계에서는 모델을 갱신하지 않는다.
• 모든 마이크로배치를 처리한 뒤 누적된 기울기를 평균 내고 옵티마이저 스텝을 한 번 수행한다.

결과는 부동소수점 차이를 제외하면 전체 배치 학습과 수학적으로 동등하다. 유효 배치 크기는 마이크로배치 크기에 누적 스텝 수를 곱한 값이다.

예를 들어 목표 배치가 1,024인데 GPU 메모리에 256개 예시만 들어간다면, 학습 루프는 256개짜리 마이크로배치 4개를 처리한 뒤 한 번 갱신한다. 모델은 갱신 한 번에 1,024개 예시를 본 셈이 되며, 실제 배치 크기 1,024로 학습한 경우와 같다.

기울기 누적은 다음 메모리 절약 기법과 자연스럽게 함께 쓸 수 있다.

• 혼합 정밀도 학습: FP16이나 BF16을 쓰면 메모리를 대략 절반으로 줄인다.
• 기울기 체크포인팅: 역전파 중 활성값을 저장하는 대신 다시 계산해, 연산을 메모리와 맞바꾼다.
• 모델 병렬화: 한 장치에 들어가기에 너무 큰 모델을 여러 GPU에 나눈다.

한 가지 주의할 점이 있다. 기울기 누적은 배치 정규화 층과 근본적으로 호환되지 않는다. 배치 정규화는 마이크로배치마다 통계를 따로 계산하므로, 작고 잡음이 많은 마이크로배치의 통계가 전체 유효 배치 대신 쓰여 학습을 불안정하게 만들 수 있다. 해결책은 누적 스텝 사이에서 동기화된 배치 정규화를 쓰거나, 배치 정규화를 층 정규화나 그룹 정규화로 바꾸는 것이다.

11. 과제별 배치 크기 선택

머신러닝 과제는 모델 크기, 데이터 특성, 하드웨어 제약에 따라 서로 다른 배치 크기 범위를 쓰는 경향이 있다.

12. 실무 지침

• 표준 크기에서 시작한다. 작은 과제는 32~64, 큰 과제는 256~512를 쓰고, GPU 메모리에 여유 있게 들어가는 가장 큰 배치를 고른다.
• 배치 크기가 메모리 때문에 제한되면 기울기 누적을 쓴다. 추가 하드웨어 없이 원하는 유효 배치 크기를 흉내 낼 수 있다.
• 배치 크기를 바꿀 때는 학습률을 조정한다. SGD에는 워밍업을 곁들인 선형 스케일링을, Adam에는 제곱근 스케일링이나 스케일링 없음을 실험한다.
• 검증 성능을 살핀다. 배치 크기를 키워 일반화가 떨어지면 명시적 규제를 더하거나, 워밍업 기간을 늘리거나, 배치 크기를 줄이는 방안을 고려한다.
• 임계 배치 크기를 고려한다. 배치를 두 배로 늘려도 필요한 학습 스텝 수가 뚜렷이 줄지 않는다면 효율 한계를 넘어 계산을 낭비하고 있는 것이다.
• 대규모 사전 학습에는 배치 크기 워밍업을 시도한다. 작은 배치로 시작해 학습 중에 키우면 효율과 모델 품질 모두에 도움이 될 수 있다.
• 배치 크기를 정하기 전에 메모리 사용량을 프로파일링한다. PyTorch의 메모리 프로파일러나 NVIDIA의 nvidia-smi로 실행 가능한 최대 배치 크기를 확인할 수 있다.

13. 플래시카드 비유

시험 공부를 플래시카드로 한다고 상상해 보자. 카드 한 장을 보고 답을 확인한 뒤 다음 장으로 넘어가는 방식이 배치 크기 1에 해당한다. 카드 10장을 한꺼번에 보고 모든 답을 생각한 뒤 맞춰 보는 방식이 배치 크기 10에 해당한다. 한 번에 더 많은 카드를 보면 아는 것과 모르는 것을 전체적으로 더 잘 파악할 수 있다. 하지만 카드를 더 많이 손에 들고 있어야 하고, 답을 확인하기까지 더 오래 기다려야 한다. 배치 크기는 컴퓨터가 답을 확인하고 나아지려고 하기 전에 한 번에 보는 플래시카드의 수다.