과소적합

쉽게 말하면, 과소적합은 모델이 데이터 속 규칙을 찾아낼 만큼 단순하지 않아서, 공부한 문제에서도 제대로 맞히지 못하는 상태다. 잡음까지 외워 버리는 과적합과 함께, 예측 모델이 실패하는 두 가지 기본 방식 가운데 하나다.

1. 개요

과소적합(underfitting)은 머신러닝 모델이 데이터 속 기저의 패턴을 포착하기에는 지나치게 단순할 때 생긴다. 과소적합된 모델은 처음 보는 데이터에서만 성능이 낮은 것이 아니라, 자신을 만드는 데 쓴 학습 데이터에서도 성능이 낮다. 입력과 출력 사이의 관계를 학습하지 못했다는 뜻이다.^2,3

딥러닝 교과서 「Deep Learning」에서 이언 굿펠로(Ian Goodfellow), 요슈아 벤지오(Yoshua Bengio), 에런 쿠르빌(Aaron Courville)은 과소적합을 학습 데이터에서 충분히 낮은 오차값을 얻지 못하는 상태로 정의한다. 과소적합은 예측 모델의 두 가지 기본 실패 유형 중 하나이며, 나머지 하나는 과적합(overfitting)이다. 과적합은 모델이 일반화하는 대신 학습 데이터의 잡음을 외우는 경우다.^3,4

과소적합은 편향-분산 트레이드오프(bias-variance tradeoff)에서 높은 편향과 낮은 분산에 해당한다. 모델이 데이터에 대해 강하고 지나치게 단순한 가정을 세우기 때문에, 어떤 학습 표본을 쓰든 체계적 오차가 남는다. 과적합이 지나치게 열심히 외우는 모델의 실패라면, 과소적합은 애초에 학습을 제대로 시작하지 못한 모델의 실패다.^5,6

이 개념은 모델 용량, 규제, 주어진 문제에 맞는 가설 집합을 고르는 근본 질문과 맞닿아 있다. 과소적합은 지난 10년간 뜻이 바뀐 몇 안 되는 머신러닝 개념이기도 하다. 매개변수가 과도하게 많은(overparameterized) 대형 신경망이 늘어나고, 벨킨(Belkin) 연구진이 2019년 이중 하강(double descent) 현상을 밝히면서, 분야는 '너무 작다, 적당하다, 너무 크다'는 교과서의 그림을 고쳐야 했다.^3,8,9

2. 편향-분산 트레이드오프

임의의 모델의 기대 예측 오차는 세 가지 요소로 나눌 수 있다.^2,6

Expected Error = Bias² + Variance + Irreducible Error

• 편향(Bias)은 모델의 평균 예측이 참값에서 얼마나 떨어져 있는지를 나타낸다. 편향이 높으면 모델이 중요한 관계를 계속 놓친다.
• 분산(Variance)은 학습 데이터의 부분집합이 달라질 때 모델 예측이 얼마나 바뀌는지를 나타낸다. 분산이 높으면 모델이 본 특정 학습 예시에 지나치게 민감하다.
• 줄일 수 없는 오차(irreducible error, 베이즈 오차라고도 한다)는 문제 자체에 내재한 잡음이라 어떤 모델로도 없앨 수 없다.²

과소적합은 편향이 높은 영역에 해당한다. 편향이 큰 모델은 강한 가정을 두어(예를 들어 특징과 목표값의 관계가 선형이라고 가정) 데이터의 실제 복잡성을 표현하지 못한다. 이런 모델은 분산이 낮은 편이다. 서로 다른 학습 데이터에서도 예측이 안정적이기 때문이다. 그러나 예측 자체는 일관되게 부정확하다.

모델 용량이 커지면 더 복잡한 함수를 표현할 수 있으므로 편향은 줄어든다. 동시에 모델이 특정 학습 데이터에 더 민감해지므로 분산은 커진다. 실무에서 전통적인 목표는 편향과 분산을 합친 오차가 가장 작아지는 적정 지점(sweet spot)을 찾는 것이다. 이 지점의 모델은 실제 패턴을 포착할 만큼 복잡하지만, 잡음까지 맞출 만큼 복잡하지는 않다. 이 관계는 때때로 U자형 테스트 오차 곡선으로 그려지며, 왼쪽은 과소적합, 오른쪽은 과적합 영역이다.^2,3,8

Geman, Bienenstock, Doursat은 1992년 논문에서 신경망의 이 분해를 공식화하고, 편향-분산 딜레마를 일반화의 핵심 과제로 제시했다. 이 분석은 2010년대 중반 매우 큰 신경망이 그 예측과 어긋나기 시작할 때까지 모델 선택을 설명하는 지배적 틀이었다. 아래 이중 하강 절에서 다루듯 전체 그림은 더 복잡하다. 매우 큰 모델은 학습 데이터를 완벽히 맞춘 뒤에도 때때로 잘 일반화한다.^5,9

3. 과소적합의 징후

과소적합은 모델 학습과 평가 과정에서 여러 관찰 가능한 지표로 드러난다.

실무에서 흔히 쓰는 진단 요령은 아주 작은 학습 데이터 일부(예: 예시 100개)를 일부러 과적합시켜 보는 것이다. 그 작은 데이터에서도 학습 손실을 0 근처까지 내리지 못하면, 모델에 과제에 필요한 용량이 없어 구조적으로 과소적합된 것이다. 이를 '외울 수 있는가?' 점검이라 부르며, 딥러닝 작업 흐름에서 널리 쓰인다.³

4. 과소적합의 원인

과소적합은 여러 요인이 겹쳐 생기는 경우가 많다. 아래 표는 가장 흔한 원인과 각각이 나타나는 방식을 정리한 것이다.

가장 흔한 원인은 참된 데이터 생성 함수를 표현할 용량이 없는 모델 계열을 고르는 것이다. 예를 들어 이차 함수나 지수 함수 관계를 띠는 데이터에 직선을 맞추면, 데이터가 아무리 많고 학습을 아무리 오래 해도 체계적 오차가 남는다. 모델의 가설 공간에 참값에 가까운 함수가 아예 없기 때문이다. 이를 가설 집합 안에서 얼마나 잘 고르는지와 구분해 근사 오차(approximation error)라 부르기도 한다.^3,10

모델 용량이 충분해도 입력 특징이 목표값을 예측할 정보를 담지 못하면 과소적합된다. 핵심 변수가 데이터셋에 빠져 있거나, 제공된 특징이 결과와 약하게만 상관되어 있으면 모델이 배울 의미 있는 내용이 없다. 특징 공학이 부실한 경우(상호작용항, 다항 특징, 도메인에 맞는 변환을 만들지 않은 경우)에도 패턴 탐지 능력이 제한된다. 트리 모델과 그래디언트 부스팅 모델은 암묵적 특징 교차를 통해 일부를 회복할 수 있지만, 입력에서 유도할 수 없는 특징을 새로 만들어 내지는 못한다.⁸

L1(라쏘)과 L2(릿지) 규제, 신경망의 드롭아웃, 조기 종료는 모델 복잡도를 제약해 과적합을 막도록 설계되었다. 그러나 규제 강도를 너무 높이면 이런 기법이 실제 패턴을 학습하는 능력을 억누를 수 있다. L2 페널티가 매우 크면 모든 가중치가 0 쪽으로 줄어들어, 복잡한 모델이 사실상 거의 일정한 값을 예측하는 모델이 된다. 마찬가지로 작은 네트워크에서 드롭아웃 비율이 0.8이면 순전파마다 활성 뉴런이 너무 적어, 네트워크가 안정된 신호를 쌓지 못할 수 있다.

모델의 용량이 종이 위에서는 충분해도, 최적화 알고리즘이 좋은 최솟값을 찾지 못해 과소적합될 수 있다. 가장 흔한 형태는 학습률을 너무 낮게 잡는 것이다. 학습 손실이 조금씩 내려가긴 하지만, 주어진 학습 예산 안에서 쓸 만한 수준에 도달하지 못한다. 반대로 학습률이 너무 높아도 과소적합이 생길 수 있다. 손실이 골짜기에 안착하지 못해 네트워크가 학습할 수 없는 것처럼 행동하기 때문이다. Adam 같은 적응형 최적화 방식은 초기 학습률에 대한 민감도를 줄인다. AdaGrad는 누적된 기울기 합 때문에 실효 학습률이 0에 가깝게 줄어들어, 때로 너무 일찍 과소적합에 빠진다는 잘 알려진 문제가 있다.³

에포크를 충분히 학습하지 않은 모델은 좋은 해에 수렴할 시간이 없었을 수 있다. 이는 수백에서 수천 에포크가 필요한 깊은 신경망에서 특히 중요하다. 학습률 스케줄, 워밍업 단계, 조기 종료의 인내(patience) 설정이 모두 여기에 얽힌다. 흔한 실수는 조기 종료를 공짜 점심처럼 여겨, 검증 손실이 평탄해지자마자 학습을 멈추는 것이다. 실제로는 몇 에포크만 더 돌렸다면 모델이 계속 나아졌을 수 있다.^3,7

학습 데이터셋이 매우 작으면, 아무리 잘 고른 모델이라도 견고한 패턴을 식별할 예시가 부족하다. 모델이 신호와 잡음을 구분하지 못해 과소적합과 비슷한 낮은 성능을 보일 수 있다. 신호 대 잡음 비가 악명 높게 낮은 금융 머신러닝에서는 잡음의 바닥(noise floor) 자체가 높아서, 용량이 큰 모델도 학습 오차를 의미 있게 낮추지 못할 수 있다. 편향-분산 분해에서는 줄일 수 없는 오차 항이 지배한다.²

5. 학습 곡선으로 과소적합 확인하기

학습 곡선은 과소적합을 진단하는 가장 실용적인 도구 가운데 하나다. 학습 곡선은 학습 반복 횟수나 학습 세트 크기에 따라 학습 손실과 검증 손실(또는 다른 성능 지표)을 그린 그래프다.⁷

5.1. 과소적합 학습 곡선의 모습

과소적합 상태에서는 학습 손실과 검증 손실이 모두 높은 값으로 수렴한다. 학습 손실은 처음 몇 에포크 동안 조금 내려가다가, 허용 기준보다 한참 위에서 평탄해질 수 있다. 검증 손실도 비슷한 궤적을 따라 학습 손실 근처에 자리 잡는다. 두 곡선의 간격이 좁다는 것은 문제가 과적합이 아니라는 것을 보여 준다. 과적합이라면 간격이 크게 벌어진다. 모델이 학습할 용량이 부족한 것이 원인이다.⁷

학습이 끝날 때까지 두 곡선이 여전히 내려가고 있다면, 에포크를 더 주면 도움이 될 수 있다. 용량은 있지만 학습 시간이 부족했을 수 있기 때문이다. 학습률이 지나치게 공격적이면 일부 최적화 방식은 손실 곡선을 진동시킨다. 이때 문제는 용량이 아니라 최적화에 있으며, 학습률을 낮추거나 적응형 최적화 방식으로 바꾸는 것이 해결책이다.

또 다른 유용한 진단은 학습 시간이 아니라 모델 용량에 따른 성능을 그리는 것이다. 트리의 깊이, 다항식 차수, 네트워크의 폭을 바꿔 가며 각 설정에서 학습 오차와 검증 오차를 기록한다. 순수한 과소적합 영역에서는 용량이 커질수록 두 오차가 모두 높은 상태에서 함께 줄어든다. 고전적인 U자 곡선은 모델이 과적합 영역에 들어서면서 나타난다. 현대의 과매개변수화 영역에서는 이 탐색이 보간 임계점(interpolation threshold)을 넘어 두 번째 하강을 드러내는 경우가 많으며, 이것이 이중 하강 현상의 특징적인 모습이다.^9,11

6. 모델 유형별 과소적합

과소적합은 어떤 모델 계열에서도 나타날 수 있지만, 알고리즘에 따라 모습이 다르다.

선형 회귀와 로지스틱 회귀는 입력 특징과 목표값 사이에 선형 관계를 가정한다. 참된 관계가 비선형(예: U자형 곡선이나 계단 함수)이면, 어떤 선형 함수로도 실제 패턴을 근사할 수 없어 이 모델들은 체계적으로 과소적합된다. 대표적인 예는 포물선을 따르는 데이터에 직선을 맞추는 경우로, 직선은 곡률을 늘 놓쳐 양 끝에서 큰 잔차를 낸다. Bishop의 교과서는 모델 맞춤(model fitting) 장을 바로 이 예시로 열어, 사인파를 여러 차수의 다항식으로 맞추면서 과소적합과 과적합이라는 두 실패 모드를 나란히 보여 준다.⁴

최대 깊이가 매우 낮거나 리프당 최소 샘플 수가 큰 결정 트리는 데이터의 가장 넓은 구분에 근거해서만 분할하도록 강제된다. 이런 트리는 세밀한 패턴, 특징 간 상호작용, 비선형 경계를 포착하지 못한다. 예를 들어 깊이 2짜리 트리로 이미지를 분류하면 특징 공간을 몇 개 영역으로만 나눌 수 있어 성능이 나쁠 가능성이 크다. 랜덤 포레스트와 그래디언트 부스팅은 얕은 트리를 많이 결합해, 각 트리가 결정 경계의 작은 조각을 맡도록 함으로써 이 문제를 일부 완화하도록 설계되었다.^6,12

층이 너무 적거나 층당 뉴런이 너무 적은 신경망은 복잡한 함수를 근사할 표현력이 부족하다. 보편 근사 정리(universal approximation theorem)에 따르면 충분히 넓은 은닉층 하나짜리 네트워크도 임의의 연속 함수를 근사할 수 있지만, '충분히 넓다'는 수천 개의 뉴런을 뜻할 수도 있다. 실무에서는 이미지 인식이나 자연어 처리처럼 복잡한 과제에 얕거나 좁은 네트워크를 학습시키면, 과제에 필요한 계층적 특징 표현을 배우지 못해 과소적합된다.³

나이브 베이즈(Naive Bayes) 분류기는 모든 입력 특징이 클래스 레이블이 주어졌을 때 서로 조건부 독립이라고 가정한다. 실제 데이터에서 흔히 그렇듯 특징끼리 강하게 상관되어 있으면, 이 가정 때문에 체계적 예측 오차가 생긴다. 전통적 의미의 복잡도 부족이 아니라, 모델의 지나치게 제한적인 가정이 일으키는 과소적합이다. 모델의 가설 집합은 특징과 클래스마다 모수가 하나씩 있어 수치상으로는 충분히 크지만, 구조적 가정이 유용한 상호작용을 표현하지 못하게 막는다.

전이 학습에서 과소적합의 흔한 원인은 사전 학습된 네트워크의 층을 너무 많이 고정(freeze)하는 것이다. 고정된 특징 위에 작은 분류 헤드만 학습할 수 있고 그 특징이 새 과제와 맞지 않으면, 모델은 적응하지 못해 과소적합된다. 표준 처방은 상위 층을 점진적으로 풀고 낮은 학습률로 미세 조정하는 것이다. 과소적합이 모델 크기보다는 배선 문제(어떤 가중치가 기울기를 받는지)에 가까운 드문 경우 가운데 하나다.¹³

문헌에서 자주 보이는 실용적 예는 대규모 언어 모델의 표현을 평가하는 데 쓰는 선형 프로브(linear probe)다. 프로브는 고정된 임베딩 위에 올린 아주 작은 선형 분류기로 일부러 설계한다. 프로브 점수가 낮으면 실무자는 보통 프로브보다 표현을 의심한다. 그러나 지나치게 제약된 프로브는, 조금 더 큰 비선형 헤드라면 드러낼 유용한 정보를 놓칠 수 있다. 모델 쪽 과소적합과 프로브 쪽 과소적합을 구분하려면 신중한 실험 설계가 필요하다.

7. 과소적합 해결 방법

과소적합을 해결하려면 모델에 더 큰 유연성, 더 나은 정보, 또는 학습할 더 많은 시간을 주어야 한다. 아래 표는 흔한 해결책을 정리한 것이다.

가장 직접적인 해결책은 더 표현력 있는 모델을 쓰는 것이다. 선택지는 신경망에 층이나 뉴런을 더하기, 다항 회귀의 차수 높이기, 결정 트리의 분할 깊이 늘리기, 선형 회귀에서 랜덤 포레스트나 그래디언트 부스팅 같은 비선형 모델로 바꾸기 등이다. 원칙은 문제를 푸는 데 필요한 최소한의 증분만큼 용량을 키우는 것이다. 선형 모델에서 곧장 매개변수가 10억 개인 트랜스포머로 뛰어들면 정확도 이득은 적고 공학적 복잡성만 커지는 경우가 많다.³

기저 관계를 더 잘 포착하는 새 특징을 만들면, 모델 구조를 바꾸지 않고도 성능이 크게 오를 수 있다. 흔한 기법은 다항식이나 상호작용항 추가, 로그나 제곱근 같은 도메인 변환, 요일이나 월 같은 주기 특징의 인코딩, 범주형 변수의 임베딩 사용이다. 특징 공학은 때로 효과가 가장 큰 개입이며, 특히 신경망이 그래디언트 부스팅 트리에 밀리는 정형 데이터 문제에서 그렇다.⁸

모델 용량은 충분한데 규제 페널티가 너무 강하다면 규제 강도를 낮추는 것이 도움이 될 수 있다. L1·L2 규제의 람다 매개변수를 낮추거나, 신경망의 드롭아웃 비율을 줄이거나, 트리의 깊이와 최소 리프 크기 제약을 느슨하게 하는 것이다. 유용한 진단은 규제를 0 근처로 설정해 보고 학습 손실이 급격히 떨어지는지 확인하는 것이다. 떨어진다면 기존 설정이 지나쳤던 것이다.

학습 곡선에서 학습 손실과 검증 손실이 학습 끝에도 모두 내려가고 있다면, 모델에 에포크가 더 필요할 수 있다. 학습 예산을 늘리고, 학습률 스케줄을 조정하고, 워밍업을 쓰면 모델이 더 나은 해에 수렴하는 데 도움이 된다. 손실이 내려가지 않고 진동할 때는 보통 최적화 방식이 문제다. 학습률을 낮추거나, 낮은 학습률의 SGD에서 Adam으로 바꾸거나, 기울기 클리핑을 추가하면 학습이 풀리는 경우가 많다. 특히 AdaGrad는 긴 학습에서 누적 제곱 기울기의 분모가 실효 학습률을 0에 가깝게 만들어 과소적합을 일으킬 수 있다.³

앙상블 방법, 특히 AdaBoost와 그래디언트 부스팅 같은 부스팅 알고리즘은 편향을 줄이도록 설계되었다. 부스팅은 약한 학습기(보통 얕은 결정 트리)를 순차적으로 학습시키며, 각 새 학습기가 앞선 학습기의 실수에 집중하게 한다. 그 결과 개별 기본 모델이 단순해도 복잡한 패턴을 포착하는 강한 학습기가 된다. 해석 가능성 등의 이유로 모델별 용량이 제약되어야 하는데 결과 모델이 과소적합될 때 쓰는 표준적인 탈출구다.^6,12

학습 예시를 더 추가하거나, 데이터 품질을 개선하거나, 외부 출처의 특징을 더하면 모델이 의미 있는 패턴을 배우는 데 필요한 정보를 얻을 수 있다. 실무에서는 레이블 잡음을 가장 먼저 고치는 경우가 많다. 모델은 실제로 존재하는 신호만 맞출 수 있으며, 레이블 오류율이 10%라면 학습 정확도에 넘을 수 없는 상한이 생기기 때문이다.

전이 학습 설정에서 과소적합이 나타나면, 표준 절차는 사전 학습된 백본의 상위 층을 풀고 낮은 학습률로 미세 조정하는 것이다. 백본을 고정한 채 새 헤드를 먼저 학습하고, 이후 상위 백본 층을 풀어 낮은 학습률로 미세 조정하는 두 단계 방식이 권장된다. 풀어 준 뒤 과소적합이 사라진다면, 사전 학습 특징이 과제에 가깝지만 완전히 맞지는 않았다는 신호다.¹³

8. 과소적합과 과적합의 차이

과적합과 과소적합은 모델 복잡도 스펙트럼의 양 끝에 있다. 아래 표는 둘의 핵심 차이를 요약한다.

실무에서는 두 극단 사이, 즉 실제 패턴은 포착하고 잡음은 맞추지 않는 지점을 목표로 한다. 이를 모델 복잡도의 '골디락스 지대'라고 부르기도 한다. 두 실패 모드의 비용은 대칭이 아니다. 과적합된 모델은 규제나 더 많은 데이터로 보완할 수 있지만, 구조적으로 과소적합된 모델은 아키텍처를 버리고 처음부터 다시 시작해야 하는 경우가 많다.

9. 모델 용량과 VC 차원

모델 용량은 모델이 다양한 함수를 맞출 수 있는 능력을 형식화한 개념이다. 용량이 낮은 모델은 단순한 함수만 표현할 수 있어 과소적합되기 쉽다. 용량이 매우 큰 모델은 아주 복잡한 함수를 표현할 수 있지만, 고전적 분석에서는 과적합 위험이 있다.³

용량을 재는 방법 하나는 Vapnik-Chervonenkis(VC) 차원이며, Vladimir Vapnik과 Alexey Chervonenkis가 도입했다. 가설 집합의 VC 차원은 그 집합이 모든 가능한 레이블 배열을 올바르게 나눌 수 있는(shatter 가능한) 가장 큰 점 집합이다. 예를 들어 2차원의 선형 분류기는 VC 차원이 3이다. 즉 점 3개의 어떤 배열도 완벽히 분류할 수 있지만, 점 4개의 일부 배열에서는 실패한다. 이진 특징에 대한 깊이 d의 결정 트리는 VC 차원이 d에 따라 커지며, 많은 구성에서 신경망의 VC 차원은 매개변수 수에 대해 다항식으로 커진다.

통계적 학습 이론은 일반화 오차가 경험적(학습) 오차와, VC 차원에 비례하는 복잡도 페널티의 함수로 상계된다는 것을 보여 준다. VC 차원이 문제에 필요한 수준보다 훨씬 낮은 모델은 경험적 오차가 높고(과소적합), 학습 표본 수에 비해 VC 차원이 지나치게 높은 모델은 복잡도 페널티가 커진다(과적합). 좋은 일반화에 필요한 학습 표본 수는 대략 가설 집합의 VC 차원에 비례한다.^10,14

Vapnik이 제안한 구조적 위험 최소화(SRM, structural risk minimization)는 일반화 오차의 상계가 가장 낮은 모델을 고르는 원리로, 학습 오차와 복잡도 페널티를 균형 있게 따진다. 이는 데이터에 충분히 맞는 가장 단순한 모델을 고르라는 실무 조언의 이론적 기반을 제공한다. SRM은 서포트 벡터 머신 설계의 기반 원리였다. 서포트 벡터 머신은 최대 마진 초평면을 골라 실효 용량을 일부 통제한다.¹⁴

VC 체계는 고전적 과소적합을 깔끔하게 설명한다. 선택한 가설 집합의 VC 차원이 너무 작으면, 그 집합 안에서의 경험적 위험 최소화기는 학습 오차에 양의 하한을 가지며, 아무리 데이터를 늘려도 이 하한을 없앨 수 없다. 이 체계는 또한 U자형 테스트 오차 곡선을 예측하는데, 이 곡선은 수십 년 동안 경험적으로 들어맞아 왔다. 현대의 과매개변수화된 신경망은 원래 이론이 예상하지 못한 방식으로 이 그림을 복잡하게 만든다.^9,10

10. 이중 하강과 과소적합의 변화

2010년대 후반 머신러닝 이론에서 가장 눈에 띄는 발전 가운데 하나는 이중 하강(double descent)의 관찰이었다. Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal은 2019년 논문 「Reconciling modern machine-learning practice and the classical bias-variance trade-off」에서 이 현상에 이름을 붙이고 특성을 밝혔으며, 이 논문은 「Proceedings of the National Academy of Sciences」에 실렸다.⁹

고전적 그림은 U자형 테스트 오차 곡선을 예측한다. 용량이 너무 적으면 과소적합, 너무 많으면 과적합이 생기고, 최적은 그 가운데에 있다는 것이다. 벨킨(Belkin) 연구진은 이 곡선이 더 큰 패턴의 왼쪽 부분일 뿐이라는 것을 보였다. 용량이 보간 임계점(interpolation threshold, 학습 점마다 정확히 맞출 만큼 매개변수가 막 충분해지는 지점)을 넘어 커지면, 테스트 오차는 먼저 치솟은 뒤 다시 내려가기 시작한다. 이 '이중 하강' 곡선은 보간 지점을 넘어 용량을 늘리면 성능이 개선된다는 점을 보여 줌으로써 교과서의 U자형 편향-분산 트레이드오프 곡선을 포괄한다. 두 번째 하강 이후 매우 과매개변수화된 모델은 고전적 U자 곡선의 최적점과 같거나 더 나은 수준으로 일반화할 수 있다.^9,11

과소적합에 대한 직접적 함의는, 매개변수를 더하면 과적합이 시작된다는 교과서적 직관이 불완전하다는 것이다. 현대 딥러닝에서는 명시적 규제가 최소여도 매우 넓은 네트워크가 과소적합되는 경우가 드물다. 확률적 경사 하강법의 암묵적 규제와 손실 지형의 구조가 함께 해를 잘 일반화하는 평탄한 극소점으로 몰아간다. 벨킨 연구진은 랜덤 푸리에 특징, 결정 트리, AdaBoost, 작은 신경망에서 이를 실험적으로 보여, 이 현상이 특정 아키텍처만의 부산물이 아님을 시사했다.⁹

LLM 사전 학습에서는 그림이 더 치우쳐 있다. 인터넷 규모 말뭉치로 학습한 수조 개 매개변수 모델은 고전적 의미에서 과소적합되는 경우가 드물다. 이들은 보통 용량이 아니라 연산량에 묶여 있으며, 과소적합에 가장 가까운 것은 아직 충분한 토큰을 보지 못한 모델이다. 스케일링 법칙인 친칠라(Chinchilla) 연구는 이를 정량화했다. 많은 기존 대형 모델은 크기에 비해 학습이 덜 되어 있었으며, 이는 아키텍처 용량이 충분해도 하류 과제에서 과소적합처럼 보이게 만드는 다른 실패 모드다.¹⁵

실천적 결론은 편향과 분산이 더는 중요하지 않다는 뜻이 아니다. 고전 모델, 정형 데이터 문제, 데이터가 모델 크기에 비해 작은 상황에서는 여전히 중요하다. 다만 딥러닝에서 과소적합과 과적합의 경계는 교과서에서 보이는 것보다 더 모호하다. '모델이 너무 작다'는 판단은 과제의 규모, 데이터셋의 크기, 최적화기의 암묵적 규제 특성에 비추어 평가해야 한다.

11. 과소적합이 바람직한 경우

과소적합은 보통 고쳐야 할 문제지만, 약간 과소적합된 모델이 더 나은 선택인 경우도 있다.

가장 흔한 경우는 해석 가능성이다. 계수가 몇 개뿐인 선형 모델은 정확도가 더 높은 200개 트리의 그래디언트 부스팅 앙상블보다 규제 기관, 의사, 신용 심사위원회에 설명하기 쉽다. 신용평가, 의료 위험 계층화, 일부 규제 환경에서는 설명할 수 없는 결정의 비용이 약간의 정확도 손실보다 크다고 보아, 모델을 로지스틱 회귀나 얕은 점수표로 의도적으로 제한하는 경우가 많다. 약간 과소적합되지만 명확한 추론 과정을 보여 주는 모델이, 완벽하게 맞지만 설명할 수 없는 블랙박스보다 나을 수 있다.

관련된 경우는 모델 선택 원리로서의 오컴의 면도날(Occam's razor)이다. 두 모델의 보류 데이터 성능이 비슷하면, 학습 데이터의 특이점에 덜 의존하고 운영에서 유지하기 쉬운 단순한 모델이 보통 선호된다. 구조적 위험 최소화는 이 선호를 공식화한다. 학습 오차가 같은 모델들 가운데에서는 용량이 더 작은 모델을 고르는 것이다. 단순함을 지나치게 밀면 모델이 구조적 과소적합으로 넘어간다. 적당히만 밀면 모델이 망가지지 않으면서 간결해진다.^14,16

과소적합된 모델은 기준선으로도 쓸모가 있다. 상수 예측기나 특징 몇 개만 쓴 로지스틱 회귀는 일종의 건전성 점검이다. 배포할 가치가 있는 더 복잡한 모델은 이 기준선을 의미 있는 차이로 넘어서야 한다. 복잡한 모델이 기준선을 겨우 조금 앞서기만 한다면, 유용한 구조를 포착하지 못했을 가능성이 크고 다른 데이터 분할에서는 개선이 사라질 수 있다.

12. 현대 딥러닝에서의 과소적합

과매개변수화 모델의 시대에는 용량과 과소적합의 관계가 몇 가지 구체적인 방식으로 달라졌다. 대형 대규모 언어 모델은 매개변수 수가 일반적인 미세 조정 데이터셋보다 훨씬 많아, 고전적 의미에서 과소적합되는 일이 거의 없다. 하류 과제에서 성능이 낮을 때 원인은 보통 용량 부족이 아니라 분포 변화, 프롬프트 민감성, 사전 학습 토큰 부족이다. Hoffmann 연구진(2022)의 친칠라 스케일링 법칙은 이 점을 새롭게 정리했다. 많은 대형 모델은 매개변수 수에 비해 학습이 덜 되어 있으며, 이는 원리상 과제를 맞출 용량이 있어도 과소적합처럼 보일 수 있다.¹⁵

미세 조정은 사전 학습보다 과소적합의 더 잦은 원인이다. LoRA 어댑터의 랭크가 매우 작거나, 프롬프트 튜닝의 학습 가능한 소프트 프롬프트 토큰이 너무 적으면, 기반 모델에 용량이 충분해도 원하는 과제를 표현할 수 없다. 표준 해결책은 LoRA 랭크를 높이거나, 상위 층을 더 풀거나, 연산이 허용되면 전체 미세 조정으로 가는 것이다.

컴퓨터 비전과 다른 분야에서는 고정된 특징 추출기 뒤에 선형 헤드를 붙이는 방식이 약한 과소적합의 전형적 원인이다. 사전 학습 특징이 목표 과제와 조금 어긋나면, 상위 층을 풀기 전까지 정확도 개선 폭이 작다. 헤드를 먼저 학습하고 백본을 낮은 학습률로 부분적으로 푸는 두 단계 미세 조정이 표준 관행이다.¹³

강화 학습 에이전트는 정책 네트워크가 최적 행동 분포를 표현하기에 너무 작거나, 가치 네트워크가 시간차 목표를 따라가지 못할 때 과소적합될 수 있다. 지도 학습과 달리 강화 학습에서는 정책이 개선되면서 학습 분포와 검증 분포가 함께 변하므로 과소적합을 진단하기가 더 어렵다. 학습 손실에 가장 가까운 것은 움직이는 목표다.

13. 과소적합과 클래스 불균형

클래스 불균형 데이터셋은 자체적인 과소적합 위험을 만든다. 가장 흔한 패턴은 공격적인 언더샘플링이다. 학습 세트를 맞추려고 다수 클래스 예시를 버리는데, 그 과정에서 모델이 배워야 할 정보도 함께 버려진다. 소수 클래스 점수는 오를 수 있지만, 모델은 전체적으로 더 단순해지고 배포 환경과 맞지 않는 50 대 50의 이상적인 세계관 쪽으로 치우친다.

Carriero 연구진이 「Statistics in Medicine」에 발표한 2025년 시뮬레이션 연구는, 로지스틱 회귀, 랜덤 포레스트, XGBoost 같은 여러 분류기에서 중간 정도의 클래스 불균형을 보정할 필요가 없었고 오히려 보정이 보정도(calibration)를 해칠 수 있다고 보고했다. 이 결과가 말하는 바는 불균형이 전혀 문제가 되지 않는다는 것이 아니라, 처방 자체가 과소적합을 새로 만들 수 있다는 것이다. 임상 머신러닝 실무자들은 한 종류의 오류 비용이 분명히 우세할 때만 개입하고, 자연 클래스 분포에서 출발하는 경우가 늘고 있다.¹⁷

관련 문제로 클래스 가중치를 지나치게 극단적으로 주는 경우가 있다. 1:10 불균형 문제에서 양성 클래스 가중치를 100으로 주면, 결정 경계가 어디서나 소수 클래스를 예측하도록 무너질 수 있다. 이는 위장된 과소적합의 한 형태다. 자연 분포에서 보정된 임계값을 쓰면, 재표본 추출만큼 잘 작동하면서도 과소적합 위험이 적은 경우가 많다.

14. 분야별 사례

14.1. 의료

의료 머신러닝에서 과소적합은 걸린 것이 남다르게 크다. 체온, 심박수, 혈압 같은 활력 징후 몇 가지만 쓰는 패혈증 예측 모델은, 검사 수치와 투약 이력, 시간에 따른 추이에서 보이는 더 미묘한 상호작용 패턴을 놓쳐 과소적합될 수 있다. 실무에서 해결책은 대개 '더 큰 신경망을 학습시키는 것'이 아니다. 임상의와 협업해 더 풍부한 특징을 설계하거나, 선형 점수표에서 상호작용을 표현할 수 있는 그래디언트 부스팅 트리로 바꾸는 것이다.

의료 모델은 규제와 해석 가능성 요구에도 제약을 받는다. 과소적합이 조금 있는 로지스틱 회귀는 배포될 수 있지만, 매개변수가 10억 개인 신경망은 그렇지 못할 수 있다. 임상의가 추론 과정을 감사할 수 있도록 하는 대가로 정확도를 일부 내주는 셈이다. 2024년 NCBI Bookshelf의 AI 헬스케어 시리즈에 실린 「Pitfalls and Best Practices」 리뷰는 과적합과 과소적합을 나란히 다루며, 정확도가 낮으면서 확률이 보정되지 않은 과신하는 과소적합 모델이 오히려 신뢰할 만해 보여 과적합 모델보다 위험할 수 있다고 지적했다.¹⁸

14.2. 금융과 신용평가

금융 머신러닝은 악명 높게 신호 대 잡음 비가 낮은 환경에서 작동한다. 상승·하락을 가르는 이진 분류에서 정확도 51%를 내는 주가 수익률 예측 모델은 잘하고 있는 것이다. 잡음 수준이 높아 설명되지 않는 오차가 크기 때문이다. 이 환경에서는 단일 기술 지표에 대한 선형 회귀처럼 매우 단순한 모델과, 틱 데이터에 쓰는 깊은 트랜스포머처럼 매우 복잡한 모델이 모두 실무자의 기대에 비해 과소적합돼 보이기 쉽다.

정량 트레이딩의 실무 패턴은 특징을 신중히 고른 단순 모델의 앙상블을 쓰고, 개별 모델이 과소적합돼 보이는 것을 받아들이는 것이다. 많은 약한 신호에 대한 투표 방식은 각 요소의 편향이 높아도 유용한 종합 예측을 만들 수 있다. 과거 가격 패턴에 과적합되는 반대 실패는 트레이딩 문헌에서 과소적합보다 자주 논의되지만, 과소적합은 조용한 동반자다. 아무 신호도 찾지 못해 튼튼해 보일 뿐인 모델은, 과적합되지 않았더라도 사실상 쓸모가 없다.

신용평가는 제약 면에서 의료와 금융의 중간에 있다. 모델은 규제 기관과 소비자에게 설명 가능해야 하며(미국 공정신용기회법(Equal Credit Opportunity Act) 같은 규제 아래), 이는 로지스틱 회귀 점수표를 선호하게 만든다. 이런 모델은 그래디언트 부스팅 대안보다 종종 과소적합되지만, 그 과소적합은 설명 가능성을 위한 의도적 트레이드오프다. SHAP 값 같은 사후 설명을 트리 앙상블의 정확도와 결합하려는 해석 가능 머신러닝 연구도 있지만, 기반 모델은 순수 정확도만 추구하는 접근보다 여전히 더 제약된다.

15. 실무 사례

몇 가지 예시가 진단 방법을 한데 모아 보여 준다.

한 팀이 고객 이탈 데이터셋에 로지스틱 회귀를 학습시킨다. 학습 정확도는 72%, 검증 정확도는 71%, 상수 예측기는 68%다. 학습과 검증의 작은 차이와 모델이 기준선을 겨우 넘는다는 사실은 전형적인 과소적합의 신호다. 랜덤 포레스트로 바꾸면 두 점수가 모두 80%대 후반으로 오르며, 선형 모델의 용량이 부족했음을 확인한다. 상호작용 특징 몇 개(이용 기간×사용량, 요금제×나이)를 만들면 남은 차이 대부분이 메워진다.

컴퓨터 비전 팀이 ResNet-50을 미세 조정하면서 모든 층을 고정하고 1000개 클래스의 선형 헤드만 학습시킨다. Top-1 정확도는 60%에서 정체된다. 학습과 검증 정확도가 서로 바짝 붙어 움직인다. 마지막 잔차 블록을 풀고 학습률 1e-4로 학습을 재개하면 두 점수가 모두 8점 오른다. 사전 학습 특징이 가깝긴 했지만 목표 분포에 딱 맞지 않았고, 선형 헤드만으로는 그 간극을 메울 수 없었다.

정량 팀이 분 단위 가격 데이터에 강한 L2 규제를 준 그래디언트 부스팅 회귀 모델을 학습시킨다. 학습과 검증의 결정계수(R²)가 모두 0.02인데, 잡음 바닥이 약 0.025 부근이라는 것을 알기 전까지는 과소적합처럼 들린다. 모델은 괜찮고, 이 시간 간격에서는 데이터가 유익하지 않을 뿐이다. 해결책은 상류에 있다. 대체 데이터 특징을 모으거나, 신호가 더 강한 더 긴 예측 기간으로 옮기는 것이다.

임상 위험 계층화 모델이 공격적인 언더샘플링(다수:소수 1:1)으로 학습되어, 소수 클래스 재현율은 88%지만 다수 클래스 정밀도는 62%다. 재표본 추출이 모델을 높은 편향 영역으로 밀어 넣었고, 그 부작용으로 보정이 깨졌다. 자연 클래스 분포에서 다시 맞추고 운영상 재현율 목표를 충족하는 임계값을 고르면 원래의 보정이 회복된다.

번역 과제에서 작은 트랜스포머를 학습하는 팀은, 학습 손실이 몇 에포크 만에 퍼플렉시티 30 부근에서 평탄해지고 더 떨어지지 않는 것을 관찰한다. 최적화 방식을 확인하니 최대 학습률 1e-3의 Adam을 워밍업 없이 쓰고 있었다. 2000 워밍업 스텝을 추가하고 작은 가중치 감쇠를 쓴 AdamW로 바꾸자, 같은 에포크 예산 안에서 퍼플렉시티가 10대 초반으로 떨어진다. 처음의 과소적합은 용량 실패가 아니라 최적화 실패였다.

16. 진단 절차

과소적합을 체계적으로 진단하고 고치려면 다음 절차를 따른다.

• 기준선을 세운다. 모델을 학습하기 전에 가장 단순한 예측기(회귀는 평균, 분류는 다수 클래스)의 성능을 확인한다. 모델이 이 기준선을 크게 넘지 못하면 과소적합일 가능성이 크다.
• 학습하고 평가한다. 학습 세트와 보류된 검증 세트 모두에서 지표를 계산한다. 두 점수가 모두 나쁘면 과소적합이다.
• 학습 곡선을 그린다. 에포크에 따른 학습 손실과 검증 손실을 시각화한다. 두 곡선이 높은 값에서 작은 간격으로 평탄하다면 용량이나 학습 시간이 부족한 것이다.
• 작은 데이터 암기 테스트를 한다. 학습 데이터의 예시 100개 부분집합에 모델을 과적합시켜 본다. 학습 손실을 0 근처까지 내리지 못하면 아키텍처 자체가 지나치게 제약된 것이다.
• 데이터를 점검한다. 특징이 정보를 담고 있는지, 결측치·레이블 잡음·잘못된 방향의 데이터 누출 같은 품질 문제가 없는지 확인한다.
• 복잡도를 점진적으로 늘린다. 가장 복잡한 모델을 바로 쓰지 않고, 특징, 트리 깊이, 층을 단계적으로 추가하며 학습·검증 지표의 변화를 관찰한다.
• 규제를 조정한다. 종이 위의 용량은 충분한데도 과소적합이면 규제 강도를 낮추고 다시 학습한다.
• 최적화 방식을 점검한다. 더 많은 매개변수가 필요하다고 결론내리기 전에 다른 최적화 알고리즘(AdamW, 모멘텀 SGD)이나 다른 학습률 스케줄(워밍업, 코사인 감쇠)을 시도한다.
• 다시 평가한다. 변경할 때마다 학습 곡선을 다시 그리고 지표를 확인한다. 학습 오차는 내려가는데 검증 오차가 급격히 오르면 과적합으로 넘어간 것이므로 용량을 다시 낮춘다.

17. 쉽게 풀어 보기(ELI5)

고양이 그림을 그리려는데 자로 직선만 그릴 수 있다고 해 보자. 아무리 애써도 몇 개의 직선으로는 실제 고양이처럼 보이지 않는다. 고양이에는 곡선, 부드러운 털, 둥근 눈이 있기 때문이다. 그림이 고양이의 실제 모습을 담기에는 너무 단순한 것이다.

컴퓨터에 생기는 과소적합도 이와 같다. 과제에 비해 너무 단순한 도구(모델)를 컴퓨터에 준 것이다. 열심히 애써도 중요한 세부를 놓치는데, 그것을 포착할 도구가 없기 때문이다. 해결책은 곡선과 색연필 같은 더 나은 도구를 주는 것이다. 때로는 더 간단하다. 컴퓨터에 연습 시간이 더 필요하거나, 안전 보조 장치(과도한 규제)를 떼는 것을 잊었거나, 잉크가 떨어지는 펜(너무 낮은 학습률)을 바꿔 줘야 한다.