모델 학습

쉽게 말하면, 학습은 모델이 정답과 비교해 틀린 만큼 내부 설정값을 조금씩 고쳐 나가는 과정이다. 예시를 반복해서 보여 주고 오차를 줄이도록 설정을 바꾸면, 모델은 처음 보는 입력에도 쓸 만한 답을 내게 된다.

1. 개요

머신러닝에서 학습(training)은 모델의 매개변수를 데이터에 맞춰 조정해 정확한 예측을 하거나 쓸모 있는 출력을 만들어내는 과정이다. 학습 중에는 알고리즘이 모델에 예시를 반복해서 보여 주고, 예측이 정답과 얼마나 어긋나는지 계산한 뒤, 그 오차를 줄이도록 내부 가중치와 편향을 갱신한다.²

학습은 머신러닝 과정 가운데 계산 부담이 가장 큰 단계이며, 그 결과가 모델이 추론 실행 때 얼마나 잘 작동할지를 정한다.

최첨단 모델 학습은 산업 규모의 사업이 되었다. 주요 AI 모델 학습에 쓰인 연산량은 2010년 이후 연 4~5배 가량 늘어 왔고, 2025년 대형 학습 작업의 비용은 1억~4억 달러로 추정된다.^4,5

현대 학습 방식의 원리는 1986년 논문까지 거슬러 올라간다. 데이비드 럼멜하트(David Rumelhart), 제프리 힌턴(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)는 다층 네트워크를 학습시키는 방법으로 역전파(backpropagation)를 제시했다.

저자들은 이 절차가 네트워크의 연결 가중치를 반복해서 조정해 실제 출력과 원하는 출력의 차이를 줄이며, 그 과정에서 은닉 유닛이 과제 영역의 중요한 특징을 표현하게 된다고 설명했다.²

2. 학습 루프

신경망 학습의 핵심은 학습 루프(training loop)다. 이 순환은 모델이 받아들일 만한 성능에 이를 때까지 수천에서 수백만 번 반복되며, 한 번의 순환은 네 단계로 이루어진다.

• 순전파(forward pass): 입력 데이터가 층을 차례로 거치며, 각 층은 입력에 가중치를 곱하고 편향을 더한 뒤 활성화 함수(activation function)를 통과시킨다(ReLU, 시그모이드 등). 한 층의 출력이 다음 층의 입력이 되고, 마지막 층이 주어진 입력에 대한 예측을 만든다.
• 손실 계산(loss computation): 예측이 정답과 얼마나 떨어졌는지를 손실 함수(loss function)가 하나의 값으로 나타낸다. 손실 함수는 비용 함수나 목적 함수라고도 부른다. 회귀에는 평균 제곱 오차, 분류에는 교차 엔트로피 손실이 흔히 쓰인다. 학습은 이 값을 줄이는 방향으로 진행된다.
• 역전파(backward pass): 손실 함수의 기울기를 네트워크의 모든 매개변수에 대해 계산한다. 미적분의 연쇄 법칙을 써서 출력층에서 입력층 쪽으로 거슬러 계산하며, 각 가중치가 오차에 얼마나 기여했는지 알아낸다. 이 기울기는 손실을 줄이려면 어느 방향으로 얼마나 바꿔야 하는지를 알려 준다.
• 매개변수 갱신(parameter update): 옵티마이저가 기울기를 이용해 각 매개변수를 고친다. 옵티마이저는 경사 하강법(gradient descent)이나 Adam, 모멘텀을 붙인 SGD, AdaGrad 같은 변형을 쓰며, 기울기의 일정 비율을 매개변수에서 뺀다. 그 비율은 학습률(learning rate)이 정한다. 이 단계로 매개변수는 손실을 최소화하는 설정에 가까워진다.²

이 네 단계는 학습 데이터의 배치마다 반복된다. 여러 번 되풀이하면서 손실이 줄고 예측이 나아진다.

3. 핵심 개념

3.1. 에포크, 배치, 반복

학습 데이터는 보통 정해진 단위로 나눠 처리된다.

예를 들어 샘플 5만 개와 배치 크기 256인 데이터셋은 한 에포크를 마치는 데 약 195번의 반복이 필요하다.

3.2. 학습 데이터의 양과 질

학습 데이터의 양과 질은 모델 성능에 직접 영향을 준다. 데이터가 부족하면 과적합(overfitting)이 생긴다. 모델이 일반화 가능한 패턴을 배우지 않고 학습 예시를 외워 버리는 현상이다. 잡음이 많거나 라벨이 잘못된 데이터는 데이터 양과 관계없이 성능을 떨어뜨린다.

OpenAI와 DeepMind 연구자들이 찾아낸 스케일링 법칙(scaling laws)은 데이터, 모델 크기, 연산량 사이의 관계를 공식으로 정리했다. Hoffmann et al.(2022)의 Chinchilla 스케일링 법칙은 연산량 최적 학습에서 모델 크기와 학습 토큰 수를 거의 같은 비율로 늘려야 하며, 파라미터 1개당 토큰 약 20개가 적절하다고 밝혔다.^6,7

이 논문은 현재의 대규모 언어 모델이 학습이 크게 부족하다고 결론 내리고, 모델 크기를 두 배로 늘릴 때마다 학습 토큰 수도 두 배로 늘려야 한다고 주장했다. 700억 파라미터 모델이라면 약 1.4조 토큰으로 학습해야 한다는 계산이다. 같은 연산 예산에서 연구진은 700억 파라미터의 Chinchilla를 2800억 파라미터 Gopher보다 4배 많은 데이터로 학습시켰다. 그 결과 Chinchilla는 Gopher, GPT-3(1,750억 파라미터), Megatron-Turing NLG(5,300억 파라미터)를 폭넓은 평가에서 일관되고 뚜렷하게 앞섰다.

최근 실무는 Chinchilla 최적점이 말하는 것보다 훨씬 많은 데이터로 학습하는 쪽으로 옮겨 갔다. Meta의 Llama 3 70B는 파라미터당 약 200개 토큰(약 15조 토큰)으로 학습되었는데, 이는 Chinchilla 최적 비율의 약 10배다. 이 흐름의 배경에는 경제성이 있다. 파라미터당 데이터를 더 많이 쓴 모델은 적은 파라미터로 비슷한 성능을 낼 수 있어, 추론 실행 때 서비스 비용이 덜 든다.⁷

3.3. 학습과 추론 실행의 차이

학습과 추론 실행은 모델 수명 주기의 두 가지 주요 단계다. 두 단계는 연산 특성과 비용 구조가 크게 다르다.

추론 실행은 계속 이뤄지고 수많은 사용자를 상대하므로, 누적 운영 비용이 한 번뿐인 학습 비용을 넘는 경우가 많다. 그래서 추가 학습 연산이 들더라도 추론 비용을 줄이는 일이 우선순위가 되었다.

4. 학습 연산량

학습 연산량은 FLOPs(부동소수점 연산 횟수)로 측정하며, 모델 품질을 정하는 가장 중요한 요인 가운데 하나다. 최첨단 모델의 연산량은 기하급수적으로 늘어 왔다. Epoch AI는 2010년부터 2024년 5월까지 주목할 만한 모델의 학습 연산량이 연 약 4.1배씩 늘었다고(90% 신뢰구간 3.7~4.6배) 추정했다. 2020년 이후에는 최첨단 언어 모델의 증가 속도가 연 5배 가량으로 빨라졌다. 이는 1980년대 휴대전화 보급 속도(연 약 2배)보다 빠른 수치다.⁴

2025년 6월 기준으로 12개 개발사가 공개적으로 발표한 30개 넘는 모델이 10^25 FLOP 학습 기준을 넘었다. 이 규모는 2023년 3월 GPT-4가 처음 도달한 수준이다. Epoch AI는 2028년 말까지 이 기준을 넘는 모델이 중앙값 약 165개(90% 신뢰구간 103~306개)에 이를 것으로 전망했다. 최첨단 모델의 학습 비용은 연 2.5배 가량 늘어 왔지만, 하드웨어와 알고리즘 개선으로 연산 단위당 비용은 계속 내려가고 있다.^5,8

GPT-4는 추정 1조 7,600억 파라미터 규모로, 약 2만 5,000개의 NVIDIA A100 GPU를 약 90일 동안 가동해야 했다. 이에 비해 DeepSeek V3는 최적화한 알고리즘과 전략적인 연산 배분으로 약 560만 달러에 최첨단 수준 성능을 냈다. 알고리즘 효율이 비용을 크게 줄일 수 있음을 보여 준 사례다.⁵

5. 학습의 종류

기계 학습에는 데이터와 과제에 따라 골라 쓰는 여러 학습 방식이 있다.

• 지도 학습(supervised learning)은 가장 흔한 학습 방식이다. 모델은 라벨이 붙은 예시(입력과 출력의 쌍)를 받아 입력을 해당 출력에 대응시키는 법을 배운다. 손실 함수는 예측과 실제 라벨의 차이를 측정한다. 이미지 분류, 스팸 탐지, 의료 진단 등에 쓰인다.
• 비지도 학습(unsupervised learning)은 라벨 없는 데이터로 학습한다. 모델이 데이터 안의 패턴, 구조, 묶음을 스스로 찾는다. 군집화, 차원 축소, 밀도 추정 같은 기법이 흔히 쓰인다.
• 준지도 학습(semi-supervised learning)은 적은 양의 라벨 데이터와 많은 양의 라벨 없는 데이터를 함께 쓴다. 라벨 데이터가 학습 방향을 잡고, 라벨 없는 데이터가 구조 정보를 더한다. 라벨링 비용이 비쌀 때 실용적인 방식이다.
• 자기 지도 학습(self-supervised learning)은 사람이 준 라벨 없이 데이터 자체에서 감독 신호를 만든다. 가려진 토큰 맞히기(BERT), 다음 토큰 예측(GPT), 영상의 다음 프레임 예측 같은 과제로 학습한다. 이 방식은 대부분의 현대 대규모 언어 모델(large language model)의 사전 학습 단계를 뒷받침한다.
• 강화 학습(reinforcement learning)은 에이전트가 환경과 상호작용하며 의사 결정을 학습한다. 에이전트는 행동을 하고 보상이나 벌점을 받으며, 긴 시간에 걸친 누적 보상을 최대화하도록 정책을 조정한다.

6. 대규모 언어 모델 학습

현대 대규모 언어 모델(LLM)의 학습은 한 번에 끝나지 않고 여러 단계로 이어지는 파이프라인이다.

1단계는 사전 학습(pre-training)이다. 계산 비용이 가장 큰 단계로, 웹 크롤링, 책, 코드 저장소에서 모은 방대한 텍스트(흔히 수조 개 토큰)에서 언어 패턴, 사실 지식, 추론 능력을 배운다. 학습 목표는 보통 다음 토큰 예측으로, 토큰 열이 주어졌을 때 다음에 올 토큰을 맞히는 것이다. 사전 학습은 모델의 일반적인 능력을 정하며, 전체 학습 연산의 대부분을 차지한다.

예를 들어 DeepSeek V3는 14.8조 토큰으로 사전 학습했고, 보고된 사용량은 H800 GPU 시간 278만 8,000시간이었다. 팀은 GPU 시간당 임대 가격을 2달러로 가정해 이를 약 557만 6,000달러로 추정했다.⁹

2단계는 지도 미세 조정(supervised fine-tuning)이다. 사전 학습 뒤에 큐레이션된 고품질 입력-출력 쌍 데이터셋으로 진행하며, 지시 따르기, 정확한 답변, 코드 작성, 유해한 요청 거절 같은 원하는 행동의 예시를 담는다. 이 단계의 연산 비용은 사전 학습보다 훨씬 작지만(흔히 100배 이상 저렴하다) 모델의 유용성과 안전성에 미치는 영향은 크다.

3단계는 인간 피드백 강화 학습(RLHF)이다. 모델을 사람의 선호에 한층 더 맞춘다. RLHF의 현대적 방식을 소개한 InstructGPT 논문은, 언어 모델의 규모를 키운다고 해서 사용자의 의도를 본질적으로 더 잘 따르게 되지는 않는다는 관찰로 시작한다. 이 논문은 파라미터 수가 100배 적은데도 13억 파라미터의 정렬된 모델을 1,750억 파라미터 GPT-3보다 사람 평가자들이 더 선호했다고 보고했다.³

RLHF는 다음 세 단계로 이뤄진다.

• 비교 데이터 수집: 사람 주석자가 같은 프롬프트에 대한 여러 응답을 비교해 품질 순으로 순위를 매긴다.
• 보상 모델 학습: 별도의 모델이 비교 데이터를 바탕으로 사람의 선호를 예측하도록 학습한다.
• 정책 최적화: 언어 모델을 강화 학습 알고리즘(흔히 PPO 또는 DPO)으로 미세 조정해, 지도 미세 조정 모델에 가깝게 머물면서 보상 모델의 점수를 최대화한다.³

RLHF는 모델이 더 도움이 되고 해롭지 않으며 정직한 응답을 내도록 돕는다. 지도 학습 데이터만으로는 담기 어려운 품질 측면을 다룬다.

7. 학습 불안정성

대규모 심층 신경망의 학습, 특히 규모가 클 때의 학습은 여러 불안정 문제에 취약하다.

손실 급등(loss spike)은 대체로 안정적으로 학습하던 중 학습 손실이 갑자기 크게 치솟는 현상이다. 기울기 폭발, 나쁜 데이터 배치, 수치 오버플로가 원인인 경우가 많다. 수백만 달러가 드는 대규모 LLM 학습에서는 제대로 다루지 않으면 손실 급등으로 연산이 크게 낭비될 수 있다. 흔한 완화책은 기울기 클리핑, 학습률 워밍업, 손상된 데이터 배치 건너뛰기다.

기울기 소실(vanishing gradient)은 역전파가 많은 층을 지나며 기울기가 극도로 작아져, 앞쪽 층이 거의 학습되지 못하는 문제다. 반대로 기울기 폭발(exploding gradient)은 기울기가 지수적으로 커져 매개변수 갱신이 불안정해지고 NaN(숫자가 아닌 값) 같은 값이 나오게 하는 문제다. 해결책으로는 Xavier나 He 같은 신중한 가중치 초기화, 배치 정규화, 잔차 연결(residual connection), 기울기 클리핑이 있다.

NaN 손실은 치명적인 수치 실패를 뜻하며, 보통 0으로 나누기, 0이나 음수의 로그 계산, 제어되지 않은 기울기 폭발이 원인이다. 보통 체크포인트에서 학습을 다시 시작해야 한다. BF16 혼합 정밀도를 FP16 대신 쓰면 위험이 줄어든다. BF16은 동적 범위가 넓어 오버플로와 언더플로 상황 대부분을 막는다.¹⁰

8. 분산 학습

현대의 대규모 모델은 단일 GPU로 학습할 수 없다. 분산 학습은 작업을 여러 장치, 때로는 수천 개의 장치에 나눈다.

데이터 병렬화에서는 각 GPU가 모델 전체 사본을 갖고 서로 다른 학습 데이터 일부를 처리한다. 순전파와 역전파가 끝날 때마다 기울기를 모든 GPU에서 동기화(보통 all-reduce 연산)해 모든 사본이 같은 상태를 유지한다. 가장 단순한 분산 학습 방식이며, 모델이 GPU 한 개의 메모리에 들어갈 때 잘 작동한다.¹¹

모델이 GPU 한 개에 들어가지 않을 만큼 크면 모델 병렬화로 모델을 여러 장치에 나눈다. 텐서 병렬화는 개별 층(큰 행렬 곱셈 등)을 여러 GPU에 나누고, 파이프라인 병렬화는 서로 다른 층을 서로 다른 GPU에 배정한 뒤 마이크로 배치를 흘려보내 유휴 시간을 줄인다.

최첨단 모델은 보통 세 가지 전략을 모두 결합한다. 예를 들어 Meta의 Llama 3.1 405B는 텐서 병렬 8, 파이프라인 병렬 16, 데이터 병렬 8에서 128 사이로 설정해 NVIDIA H100 GPU 16,384개에 분산하여 학습되었다. 전체 학습에는 약 3,930만 H100 GPU 시간이 쓰였다. DeepSpeed, Megatron-LM, PyTorch FSDP(Fully Sharded Data Parallel) 같은 프레임워크가 이 전략들을 구현해 제공한다.^11,12

수만 개의 가속기 규모에서는 하드웨어 고장이 예외가 아니라 일상이 된다. Meta는 Llama 3 405B를 H100 GPU 16,384개로 사전 학습한 54일 동안의 스냅숏에서 작업이 466번 중단되었고, 그중 419번이 예기치 않은 중단이었다고 보고했다. 약 3시간에 한 번꼴로 예기치 않은 장애가 난 셈이다. 예기치 않은 중단의 약 78%는 하드웨어 문제로 돌아갔고, GPU 장애와 HBM3 메모리 고장이 주된 원인이었다. 그럼에도 Meta는 자동 감지와 체크포인트 기반 복구로 90% 이상의 유효 학습 시간을 유지했다고 밝혔다. 이 신뢰성 문제가 체크포인트, 중복 구성, 빠른 장애 복구를 현대 학습 인프라의 핵심으로 만든 주된 이유다.¹²

9. 학습 기법과 요령

실무자들은 학습 효율, 안정성, 최종 모델 품질을 높이려고 여러 기법을 쓴다.

• 혼합 정밀도 학습(mixed-precision training): 대부분의 연산을 FP16 또는 BF16 같은 낮은 정밀도 형식으로 하고, 가중치의 마스터 사본은 FP32로 유지한다. 메모리 사용량이 대략 절반으로 줄고, 텐서 코어가 있는 GPU에서 학습 속도가 30~50% 빨라지며, 모델 품질에 주는 영향은 작다. 학습에는 BF16(Brain Float 16)이 보통 FP16보다 선호되는데, FP32와 같은 동적 범위를 가져 대부분의 경우 손실 스케일링이 필요 없기 때문이다.
• 학습률 워밍업과 스케줄링(learning rate warmup and scheduling): 무작위로 초기화된 매개변수는 크고 노이즈가 많은 기울기를 만들기 때문에, 높은 학습률로 시작하면 불안정해질 수 있다. 워밍업은 아주 작은 학습률에서 시작해 보통 수백에서 수천 단계에 걸쳐 선형으로 키운다. 워밍업 뒤에는 코사인 어닐링 같은 스케줄이 나머지 학습 동안 학습률을 점차 줄인다. 이 워밍업 후 감소 패턴은 트랜스포머 학습의 표준 관행으로 자리 잡았다.
• 기울기 누적(gradient accumulation): GPU 메모리가 부족할 때 실질적으로 더 큰 배치 크기로 학습하게 해 준다. 매 배치마다 가중치를 갱신하는 대신 여러 미니 배치의 기울기를 쌓아 두었다가, 누적된 기울기가 원하는 실효 배치 크기에 이르면 한 번 갱신한다. 이는 더 강력한 하드웨어에서 더 큰 배치로 학습한 것과 같은 결과를 낸다.
• 기울기 체크포인팅(gradient checkpointing): 순전파 중에 역전파에 쓸 중간 활성값을 메모리에 저장하는데, 체크포인팅은 그중 일부만 저장하고 나머지는 역전파 때 필요에 따라 다시 계산한다. 추가 연산 시간은 약 20% 늘지만 메모리 사용량을 크게 줄여, 같은 하드웨어에서 더 큰 모델이나 더 큰 배치를 학습할 수 있게 한다.
• 커리큘럼 학습(curriculum learning): 사람이 배우는 방식을 본떠 학습 데이터를 쉬운 예시부터 점차 어려운 예시 순으로 배열한다. 이 구조화된 순서는 추가 연산 비용 없이 수렴 속도를 높이고, 더 나은 국소 최솟값에 이르게 하며, 일반화를 개선할 수 있다. 주요 과제는 데이터의 난이도 지표를 정하는 것과 난이도가 올라가는 일정을 설계하는 것이다.^10,13,14,15

10. 학습 모니터링

학습 중 지표를 추적하는 일은 문제를 진단하고 모델이 효과적으로 배우는지 확인하는 데 필수다. 이 분야는 두 플랫폼이 주도한다.

학습 중 살펴볼 핵심 지표는 다음과 같다.

• 학습 손실과 검증 손실: 둘 사이가 벌어지면 과적합을 뜻한다.
• 기울기 노름(gradient norm): 기울기 노름이 갑자기 튀면 손실 급등보다 앞서거나 함께 나타나는 경우가 많다.
• 학습률(learning rate): 학습률 스케줄이 의도대로 진행되는지 확인한다.
• GPU 사용률과 처리량: 하드웨어가 효율적으로 쓰이는지 확인한다.
• 평가 지표: 보유한 검증 세트에서 주기적으로 계산하는 과제별 지표로, 정확도, F1 점수(F1 score), BLEU, 퍼플렉시티 지표(perplexity) 등이 있다.

11. 재현성 문제

학습 실행을 정확히 재현하는 일은 머신러닝에서 가장 끈질긴 어려움 가운데 하나다. 결과가 달라지는 원인은 다음과 같다.

• 무작위 시드: 가중치 초기화, 데이터 섞기, 드롭아웃이 모두 난수 생성기에 의존한다. 시드를 고정하는 것은 필요하지만 재현성을 보장하기에는 충분하지 않다.
• 하드웨어 차이: 부동소수점 연산은 결합 법칙이 엄밀히 성립하지 않아, CPU와 GPU 실행 사이, 서로 다른 GPU 구조 사이에서 결과가 달라질 수 있다.
• 소프트웨어 버전: 프레임워크, CUDA 라이브러리, 운영체제 버전이 다르면 결과가 달라질 수 있다.
• 병렬화: 분산 학습에서는 기울기를 모으는 순서가 실행마다 달라질 수 있고, 그 작은 수치 차이가 많은 단계에 걸쳐 쌓일 수 있다.

재현성을 높이는 모범 사례로는 모든 소프트웨어 버전 고정, 하이퍼파라미터와 난수 시드 기록, 가능한 곳에서 결정론적 알고리즘 사용, 실험 추적 도구로 실행의 세부 사항 전부 기록하기가 있다.¹⁶

12. 학습 비용 추세

학습의 경제성은 빠르게 바뀌어 왔다. Cottier et al.(2024)에 따르면, 가장 연산 집약적인 모델의 상각 학습 비용은 2016년 이후 연 약 2.4배씩 늘었다(90% 신뢰구간 2.0~2.9배). 저자들은 이 추세가 이어지면 가장 큰 학습 작업의 비용이 2027년까지 10억 달러를 넘을 것으로 전망했다. 2025년 가장 큰 학습 작업은 1억~4억 달러로 추정되었다. 연산 단위당 비용은 10년에 약 10배씩 떨어지고 있는데, 하드웨어(NVIDIA의 H100과 B200 GPU), 소프트웨어 프레임워크, 알고리즘 효율 개선 덕분이다.⁵

특히 DeepSeek V3는 알고리즘 혁신(예: 전문가 혼합(Mixture-of-Experts) 구조와 최적화된 학습 절차)으로, 무차별 규모 확장에 드는 비용의 일부로 최첨단 수준 성능을 낼 수 있음을 보여 주었다. 이는 원시 연산 투자만이 더 나은 모델로 가는 길이 아니라는 점을 시사한다.^5,9

GPU 클라우드 가격도 바뀌었다. 2025년 중반 기준으로 AWS는 H100 인스턴스 가격을 약 44% 낮췄고, 온디맨드 비용은 GPU 시간당 약 3.90달러 수준이 되었으며, 예약 가격은 GPU 시간당 2.00달러 아래로 떨어졌다.¹⁷

13. 비유로 보는 학습

농구공을 골대에 던져 넣는 법을 배운다고 상상해 보자. 공을 던질 때마다 어디에 떨어졌는지 본다. 너무 왼쪽으로 갔으면 다음에는 조금 더 오른쪽으로 던지고, 짧았으면 더 세게 던진다. 각 던지기는 학습의 한 단계와 같다. 무언가를 시도하고, 얼마나 틀렸는지 보고, 작게 고치는 것이다.

컴퓨터 학습도 같은 방식이다. 고양이와 개 사진 같은 예시를 수천 장 보여 주면, 틀릴 때마다 내부 설정을 조금씩 바꾼다. 충분한 예시를 보고 충분히 조정하면, 처음 보는 사진도 고양이와 개를 아주 잘 구별하게 된다.