과적합

쉽게 말하면, 과적합은 모델이 학습 데이터의 우연한 특징에 맞춰져서 새 데이터에서는 성능이 떨어지는 현상이다. 학습 데이터에서 점수가 높다는 것만으로는 판단할 수 없고, 실제로 필요한 환경에서 얼마나 잘 작동하는지와 비교해서 봐야 한다.

1. 개요

과적합(overfitting)은 일반화의 실패다. 적합된 모델이나 모델 선택 절차가 개발에 쓴 관측값에서는 관심 모집단의 새 관측값보다 더 좋은 성능을 보인다. 모델에 매개변수가 많거나, 학습 집합에 정확히 맞거나, 학습 손실이 낮다는 사실만으로 과적합을 판단하지는 않는다. 과적합은 개발 데이터에서의 성능과 개발 이후 요구되는 성능의 차이에 관한 문제이며, 명시된 표본 추출 및 배포 환경 아래에서 따진다.^2,3

학습 데이터와 평가 데이터의 성능 차이는 과적합의 증거가 될 수 있지만, 그 자체로 진단이 되지는 않는다. 관측된 차이는 유한한 표본에서 얻은 추정치이며, 작은 검증 표본, 같은 보류 데이터를 반복해서 조정하는 일, 분할 사이에 겹치는 중복 또는 관련 레코드, 지표 불일치, 분포 변화 때문에 왜곡될 수 있다. 반대로 학습 성능과 평가 성능이 둘 다 낮아서 차이가 작을 수도 있다. 따라서 올바른 진단에는 정의된 목표 모집단, 독립적인 평가 데이터, 데이터에 의존한 모든 선택의 기록이 필요하다.^2,4,5,6

과적합은 고전 통계 사례에서 흔히 높은 분산과 함께 설명되지만, 모든 설정에서 두 용어가 같은 뜻은 아니다. 마찬가지로 학습 데이터에 정확히 맞춰졌다는 사실만으로 해로운 과적합이 증명되지는 않는다. 과매개변수화 모델을 다룬 최근 연구는 특정 데이터, 모델, 최적화 조건에서 이중 하강(double descent), 양성 과적합(benign overfitting), 지연된 일반화(grokking) 사례를 보고했다. 이 결과들은 고전적 설명을 보완할 뿐, 독립적 평가와 규제가 불필요하다는 뜻은 아니다.^7,8,9,10,11

2. 정의와 수식

학습 표본 D로 학습 알고리즘이 예측기 f_D를 만든다고 하자. 음이 아닌 손실 함수 $$\ell$$과 예시들에 대한 목표 분포 P가 주어지면, 모집단 위험은 다음과 같다.

R_P(f_D)=\mathbb{E}_{(X,Y)\sim P}\left(\ell(f_D(X),Y)\right).

학습 표본에서의 경험적 위험은 다음과 같다.

\widehat{R}_D(f_D)=\frac{1}{n}\sum_{i=1}^{n}\ell(f_D(x_i),y_i).

그 적합된 예측기의 모집단 일반화 격차는 다음과 같다.

G_D=R_P(f_D)-\widehat{R}_D(f_D).

실제로 R_P는 알 수 없다. 검증 세트나 테스트 세트는 모집단 위험 자체가 아니라 또 다른 추정치를 준다. T가 같은 목표 분포에서 뽑은 독립 표본이라면, 경험적 격차는 다음과 같다.

\widehat{G}_{D,T}=\widehat{R}_T(f_D)-\widehat{R}_D(f_D)

이 값의 크기는 표본 크기, 손실의 척도, 클래스 균형, 레코드 사이의 의존성, 표집 변동에 따라 달라진다. 모든 모델을 과적합으로 판정하게 하는 보편적인 정확도 차이나 손실 차이 기준은 없다.^2,3

이 정식화에서는 서로 다른 세 대상이 드러난다.

• 적합 과적합(fitting overfitting): 학습 절차가 학습 관측값에 지나치게 특화되게 맞춰질 때 생긴다.
• 선택 과적합(selection overfitting): 대안, 특징, 임계값, 하이퍼파라미터를 검증 기준으로 반복 비교해서 선택된 결과가 그 기준의 잡음을 이용하게 될 때 생긴다.
• 평가 실패(evaluation failure): 보류 데이터 추정치가 의도한 주장에 타당하지 않을 때 생긴다. 예를 들어 전처리가 분할 경계를 넘었거나, 배포 분포가 평가 분포와 다른 경우다.^4,5,6

앞의 두 가지만 좁은 의미의 과적합이다. 세 번째는 같은 양상의 실망스러운 배포 성능을 낳을 수 있으므로, 원인을 정하기 전에 먼저 배제해야 한다.

경험적 위험 최소화는 가설 클래스(hypothesis class)에서 학습 위험을 최소화하는 예측기를 고른다. 모집단 위험을 직접 구할 수 없으므로 이 목적함수는 쓸모가 있다. 하지만 제한되지 않았거나 잘 통제되지 않은 탐색은 유한한 표본의 우연한 특성에 맞춰질 수 있다. 학습 이론은 경험적 성능이 모집단 성능을 어떤 조건에서 통제하는지 연구하며, 여기에는 가설 클래스의 제한, 규제, 마진, 안정성, 표본 복잡도가 포함된다.^3,12

그래서 용량은 매개변수 개수 하나로 정해지지 않는다. 관련 용량은 가설 클래스, 매개변수화, 최적화 알고리즘, 규제, 데이터 표현, 손실, 분포에 따라 달라진다. 명목상 매개변수 수가 같은 두 절차라도 실제 동작은 다를 수 있다. 반대로 관측값보다 매개변수가 많은 모델도, 학습 알고리즘이 특정 보간 해를 선호하기 때문에 잘 일반화할 때가 있다.^7,8,10

2.1. 경험적 위험 최소화와의 관계

경험적 위험 최소화는 학습 위험을 최소화하도록 가설 집합에서 예측기를 고른다. 모집단 위험을 직접 구할 수 없기 때문에 경험적 목적함수는 유용하지만, 제약되지 않았거나 잘 통제되지 않은 탐색은 유한한 표본의 우연한 성질에 맞춰질 수 있다. 학습 이론은 경험적 성능이 모집단 성능을 통제하는 조건을 연구하며, 여기에는 가설 집합에 대한 제약, 규제, 마진, 안정성, 표본 복잡도가 포함된다.^3,12

따라서 용량은 매개변수 개수만으로 정해지지 않는다. 관련된 모델 용량은 가설 집합, 매개변수화, 최적화 알고리즘, 규제, 데이터 표현, 손실 함수, 분포에 따라 달라진다. 명목상 매개변수 개수가 같은 두 절차라도 실제 동작은 다를 수 있다. 반대로 관측치보다 매개변수가 많은 모델도, 학습 알고리즘이 특정 보간 해를 선호하기 때문에 잘 일반화되는 경우가 있다.^7,8,10

2.2. 편향과 분산

편향-분산 트레이드오프는 일부 과적합 현상을 설명하는 데 유용하다. 다만 익숙한 3항 분해식은 명시된 가정 아래 제곱 오차 예측에만 적용된다. 다음과 같이 가정하자.

여기서 잡음의 조건부 기댓값은 0이고 조건부 분산은 σ²이다. 학습 표본 D가 같은 표집 과정으로 뽑힐 때, 고정된 입력 x에서의 기대 예측 오차는 다음과 같이 쓸 수 있다.

각 항은 제곱 편향, 학습 표본들 사이의 분산, 줄일 수 없는 잡음이다. 많은 고전 모델군에서 유연성을 키우면 편향은 줄고 분산은 커져서 테스트 위험 곡선이 U자형이 된다. 이때 높은 분산이 과적합의 한 기제가 될 수 있다.^13,14

이 분해식만으로는 모든 과적합 모델의 편향이 낮다고 말할 수 없다. 특정 데이터셋에서 분산이 높은 절차가 모두 과적합된다고도 할 수 없다. 매개변수 수가 고정된 기준을 넘으면 위험이 단조 증가해야 한다는 뜻도 아니다. 분류 손실, 의존 관측값, 모형 오설정, 분포 변화, 적응적 선택, 과매개변수화 보간에는 추가 분석이 필요하다. 이 그림보다 넓은 일반화 연구에는 VC 차원, 알고리즘 안정성, 노름, 마진, 압축, 데이터 의존 복잡도 같은 도구가 쓰인다.^3,7,12

2.3. 훈련 및 평가 곡선

반복적 학습기에서 학습 지표와 검증 지표를 업데이트 횟수나 에포크(epoch)에 대해 그리면 발산을 드러낼 수 있다. 흔한 패턴은 학습 손실은 계속 줄어드는데 검증 손실은 개선이 멈추거나 상승하는 것이다. 이 패턴은 국소적 진술을 뒷받침한다. 즉 이후 체크포인트가 해당 검증 표본에서 해당 지표 기준으로 더 나쁜 성능을 보인다는 것이다. 모든 후속 체크포인트의 모집단 위험이 높다는 것을 확립하지 않으며, 검증 추정치가 왜 변했는지도 밝히지 않는다.

다음 점검은 해석을 강화한다.

• 학습과 평가는 비교 가능한 손실과 전처리를 사용해야 한다. 증강, 드롭아웃, 또는 다른 정규화 방식을 적용해 평가한 모델은 인위적인 격차를 만들 수 있다.
• 검증 관측치는 관련 단위에서 독립이어야 한다. 같은 환자의 영상, 한 영상의 프레임, 한 가구의 행, 같은 시계열의 미래 관측치는 독립이 아닐 수 있다.
• 검증 집합이 반복 실험을 거치며 숨은 학습 집합이 되어서는 안 된다. 시도한 구성의 개수를 기록하는 것은 우승 결과를 해석하는 일부다.
• 불확실성을 보고해야 한다. 차이가 시드, 폴드, 그룹, 또는 표집 구간에 따른 변동보다 작다면 약한 증거일 뿐이다.
• 절대 성능이 중요하다. 학습 성능과 검증 성능이 모두 낮고 격차가 작다면, 이는 보통 성공적인 일반화가 아니라 과소적합, 최적화 문제, 데이터 문제, 또는 지표 문제다.

「학습 정확도 99퍼센트면 과적합이다」 같은 보편적 규칙은 타당하지 않다. 결정론적이고 분리 가능한 과제는 학습 정확도와 테스트 정확도가 모두 완벽해도 정당할 수 있다. 어렵거나 잡음이 많은 과제는 학습 정확도가 99퍼센트에 한참 못 미쳐도 과적합될 수 있다. 비교는 정당화된 표본 외 추정치를 기준으로 해야 한다.

2.4. 표본 크기별 학습 곡선

두 번째 학습 곡선은 평가 절차를 고정한 채 학습 관측치 수를 바꾼다. 대표적인 데이터를 추가할수록 줄어드는 큰 학습-평가 격차는 분산 또는 표본 크기 제약과 일치한다. 두 곡선이 모두 낮고 서로 가깝다면 더 큰 용량, 더 나은 특징, 또는 더 잘 명세된 과제가 필요할 수 있다. 평가 성능이 더 이상 개선되지 않는다면 한계는 대신 레이블 잡음, 환원 불가능한 모호성, 분포 변화, 또는 지표와 의도된 용도 사이의 불일치일 수 있다.

학습 곡선은 정보 누출 없이 만들어야 한다. 특징 선택, 정규화, 결측값 대체, 증강 정책 선택, 하이퍼파라미터 튜닝은 각 학습 리샘플 내부에서 수행해야 한다. 전체 데이터셋에 이 작업을 한 번 수행하면, 형식상 보류된 관측치가 적합된 파이프라인에 영향을 줄 수 있다.^5,15

3. 증거로 볼 수 있는 것

반복적으로 학습하는 학습기에서는 업데이트 횟수나 에포크 단위로 학습 지표와 검증 지표를 그려 보면 벌어지는 지점을 찾을 수 있다. 흔한 패턴은 학습 손실은 계속 줄어드는데 검증 손실은 더 나아지지 않거나 오르는 것이다. 이 패턴은 국소적인 판단을 뒷받침한다. 즉 그 검증 표본과 그 지표에서 나중 체크포인트의 성능이 떨어진다는 뜻이다. 모든 나중 체크포인트의 모집단 위험이 높다는 것을 확인하지는 않으며, 검증 추정치가 왜 바뀌었는지도 설명하지 않는다.

해석을 강하게 하려면 다음을 확인해야 한다.

• 학습과 평가는 비교 가능한 손실과 전처리를 써야 한다. 증강, 드롭아웃, 다른 정규화 모드를 넣고 평가하면 인위적인 격차가 생길 수 있다.
• 검증 관측값은 관련 단위에서 독립이어야 한다. 같은 환자의 영상, 한 동영상의 프레임, 한 가구의 행, 같은 시계열의 미래 관측값은 독립이 아닐 수 있다.
• 검증 세트가 반복 실험을 거치며 숨은 학습 세트가 되지 않았어야 한다. 시도한 구성의 개수를 기록하는 것은 가장 좋게 나온 결과를 해석하는 데 필요하다.
• 불확실성을 보고해야 한다. 시드, 폴드, 집단, 표집 구간에 걸친 변동보다 작은 차이는 약한 증거다.
• 절대 성능도 중요하다. 학습 성능과 검증 성능이 모두 낮은데 격차가 작다면, 보통 일반화가 성공한 것이 아니라 과소적합, 최적화 문제, 데이터 문제, 지표 문제다.

'학습 정확도 99%이면 과적합이다' 같은 보편 규칙은 타당하지 않다. 결정적이고 분리 가능한 과제에서는 학습 정확도와 테스트 정확도가 모두 완벽해도 정당하다. 반대로 어렵거나 잡음이 많은 과제는 학습 정확도가 99%에 한참 못 미쳐도 과적합할 수 있다. 비교는 정당화된 표본 외 추정치를 기준으로 해야 한다.

두 번째 학습 곡선은 평가 절차를 고정한 채 학습 관측값 수를 바꾼다. 대표성 있는 데이터를 추가할수록 큰 학습-평가 격차가 줄어든다면 분산이나 표본 크기 제약과 일치한다. 두 곡선이 모두 낮고 서로 가깝다면 더 큰 용량, 더 나은 특징, 더 잘 정의된 과제가 필요할 수 있다. 평가 성능이 더 나아지지 않는다면, 제약은 대신 레이블 잡음, 줄일 수 없는 모호성, 분포 변화, 지표와 실제 사용 목적 사이의 불일치일 수 있다.

학습 곡선은 정보 누출 없이 만들어야 한다. 특징 선택, 정규화, 결측값 대체, 증강 정책 선택, 하이퍼파라미터 조정은 각 학습 재표본 안에 들어가야 한다. 이 작업을 전체 데이터에 한 번 수행하면 보류된 관측값이 적합된 파이프라인에 영향을 줄 수 있다.^5,15

불안정한 절차는 관측값 하나나 작은 부분집합이 바뀌었을 때 크게 달라진다. Bousquet와 Elisseeff는 여러 알고리즘 안정성 개념을 정식화하고, 이를 규제 기반 알고리즘의 일반화 경계와 연결했다. 이후 Hardt, Recht, Singer는 Lipschitz 및 매끄러움 가정 아래 확률적 경사 방법의 안정성을 분석해 볼록 및 비볼록 목적함수에 대한 결과를 얻었다. 이들은 조건부 이론 결과이며, 모든 안정 모델이 일반화한다거나 모든 불안정 모델이 실패한다는 주장이 아니다.^12,16

실무적인 민감도 점검에는 다음이 포함될 수 있다.

• 여러 난수 시드로 다시 적합하고, 평가 결과의 분포를 보고한다.
• 과학적 질문이 허용하면 집단 또는 시간을 고려한 분할을 반복한다.
• 그럴듯한 재표집 아래에서 예측이나 선택된 특징이 어떻게 바뀌는지 측정한다.
• 결론이 소수의 영향력 큰 예시에 달려 있는지 검사한다.
• 선택된 구성을 더 단순하고 사전에 정한 기준선과 비교한다.

보고된 개선폭이 적합들 사이의 변동보다 작을 때 불안정성은 특히 중요하다.

'보지 못한 데이터'라는 말은 데이터의 출처를 밝히지 않으면 불완전하다. 무작위 분할은 대략 같은 데이터 생성 과정에서 나온 새로운 독립 관측값에 대한 성능을 추정한다. 그러나 새 병원, 미래 시점, 다른 지역, 장비, 사용자 집단, 정책 환경에서의 성능을 자동으로 추정하지는 않는다.

분포 변화는 학습 분포와 목표 분포의 차이를 뜻한다. Moreno-Torres 외는 분류에서 데이터셋 변화의 형태를 검토했으며, 입력, 레이블, 클래스 조건부 분포의 변화가 여기에 포함된다. 분포 변화에서 성능이 떨어진다고 해서 모델이 학습 표본에 과적합되었다는 증거가 되지는 않는다. 모델은 분포 안에서는 잘 일반화하면서도 모집단이 바뀌면 실패할 수 있다. 평가는 배포 단위와 시간 범위에 맞추고, 결과는 분포 내 과적합과 분포 밖 견고성을 구분해야 한다.⁶

3.1. 평가 대상

「보지 못한 데이터」는 그 데이터의 출처가 명시되지 않으면 불완전하다. 무작위 분할은 대략 같은 데이터 생성 과정에서 나온 새로운 독립 관측치에 대한 성능을 추정한다. 이는 새 병원, 미래 시점, 지리적 지역, 기기, 사용자 집단, 정책 환경에서의 성능을 자동으로 추정하지는 않는다.

분포 변화(distribution shift)는 학습 분포와 목표 분포의 차이를 가리킨다. Moreno-Torres 등은 분류에서의 데이터셋 분포 변화 형태를 검토하며, 입력, 레이블, 또는 클래스 조건부 분포의 변화를 포함한다. 분포 변화 아래의 낮은 성능이 그 자체로 모델이 학습 표본에 과적합되었다는 증거는 아니다. 모델은 분포 내에서 잘 일반화하더라도 모집단이 바뀌면 실패할 수 있다. 평가는 배포 단위와 시간 범위에 맞춰야 하며, 결과는 분포 내 과적합과 분포 외 견고성을 구분해야 한다.⁶

4. 평가 자체가 과적합되는 방식

4.1. 검증 데이터의 재사용

검증 세트는 그 결과가 선택에 영향을 주는 순간부터 개발의 일부가 된다. 그 세트에서 아키텍처, 특징, 프롬프트, 임계값, 체크포인트, 증강 정책, 난수 시드를 고르면 그 세트에 대한 정보를 소비하게 된다. 적응적 비교를 충분히 많이 하면, 검증 표본에서 기울기를 한 번도 계산하지 않았더라도 그 표본의 특이점에 맞는 구성을 찾을 수 있다.

Cawley와 Talbot은 모델 선택 기준의 분산이 기준 자체의 과적합과 성능 평가의 선택 편향으로 이어질 수 있음을 보였다. Dwork 외는 적응적 데이터 분석을 연구하고, 보류 데이터에서 공개되는 정보를 제한하는 재사용 가능한 보류(reusable holdout) 기법을 제안했다. 실무적 교훈은 단순하다. 검증에서 가장 좋았던 결과를 편향 없는 테스트 결과처럼 설명하지 않는다.^4,17

견고한 작업 흐름은 역할을 나눈다.

• 학습 부분집합은 모델 매개변수를 추정한다.
• 검증 부분집합이나 내부 교차 검증 루프가 데이터에 의존한 개발 선택을 한다.
• 잠가 둔 테스트 부분집합이나 외부 루프가 전체 선택 절차의 성능을 추정한다.
• 주장에 새 환경으로의 이전이 포함되면 외부 데이터나 전향적 데이터로 다룬다.

최종 모델은 평가 뒤에 더 많은 데이터로 다시 학습될 수 있다. 그러면 테스트 결과는 재학습된 정확한 매개변수 벡터가 아니라 규정된 학습 절차를 추정한다.

4.2. 중첩 교차 검증

데이터가 단일 테스트 분할을 두기에 너무 적으면 중첩 교차 검증으로 선택과 평가를 분리한다. 각 외부 학습 폴드에는 완전한 내부 튜닝 과정이 들어간다. 외부 보류 폴드는 구성이 선택된 뒤에만 쓴다. Varma와 Simon은 분류 시뮬레이션에서, 같은 교차 검증 결과를 분류기 튜닝과 오차 추정에 함께 쓰면 낙관적 편향이 생기며 중첩 교차 검증이 연구한 설정에서 그 편향을 상당히 줄였다는 것을 보였다.¹⁵

중첩 교차 검증이 만능은 아니다. 집단, 시간 순서, 전처리, 특징 선택, 클래스 불균형은 올바른 루프 안에서 다뤄야 한다. 보고서에는 추정 대상, 분할 구성, 후보 수, 선택 규칙, 불확실성 산출 방법을 명시해야 한다.

4.3. 데이터 누출

데이터 누출은 의도된 예측 시점에 쓸 수 없는 정보가 학습이나 평가에 영향을 줄 때 생긴다. 예로는 모든 관측값으로 정규화 통계를 계산하는 것, 분할 전에 특징을 고르는 것, 같은 개체를 학습과 테스트 데이터에 함께 넣는 것, 미래 기록으로 과거를 예측하는 것, 결과를 직접 부호화한 특징을 포함하는 것이 있다.

누출은 학습 점수와 평가 점수를 둘 다 높게 만들 수 있으므로, 익숙한 큰 격차를 만들지 않을 수도 있다. Kapoor와 Narayanan은 머신러닝 기반 과학 전반에서 재현되지 않는 주장의 반복적 원인으로 누출을 기록하고, 이를 드러내는 보고 관행을 제안했다. 모델이 과적합했다거나 하지 않았다고 결론 내리기 전에 누출 점검을 먼저 수행해야 한다.⁵

5. 과적합 위험을 높이는 요인

과적합은 데이터, 가설 클래스, 목적함수, 최적화, 선택 절차가 함께 작용하는 현상이다. 아래 요인들은 어느 하나만으로는 과적합을 일으키기에 충분하지 않다.

유연한 가설 클래스는 유한한 표본에 맞출 방법을 많이 제공한다. 사용할 수 있는 정보의 양과 다양성에 비해 실질적인 탐색 범위가 클수록 위험이 커진다. 이는 매개변수가 많을 때, 고차 기저 함수, 깊은 트리, 광범위한 특징 생성, 큰 하이퍼파라미터 탐색, 반복적인 수작업 실험에서 생길 수 있다. 관련 양은 보편적인 표본 대 매개변수 비율이 아니다. 현대 신경망은 학습 예시보다 매개변수가 많은 경우가 흔하지만, 매개변수 공유, 최적화 편향, 노름, 증강, 데이터 구조가 도달하는 해를 제한한다.^7,8

일부 추정량에서는 자유도가 단순한 매개변수 수보다 더 많은 정보를 줄 수 있다. 그러나 유효 자유도도 모델과 절차에 따라 달라진다. 표본 크기가 충분하다는 주장은 고정된 경험칙을 빌려 쓸 것이 아니라, 과제, 잡음 수준, 의존 구조, 목표 오차, 학습 알고리즘에 맞춰 정당화해야 한다.

독립적인 표집 단위가 적으면 경험적 패턴의 신뢰도가 떨어진다. 행이 같은 대상의 반복 측정이거나 거의 중복된 것이라면, 데이터셋에 수백만 행이 있어도 독립 정보는 적을 수 있다. 또 범위가 좁으면 모델이 스캐너, 배경, 작성자, 수집 기간처럼 개발 데이터에서만 레이블과 상관된 부수적 맥락에 기대게 된다.

대표성 있는 관측값을 추가하면 불확실성이 줄어드는 경우가 많다. 그러나 행을 더 늘린다고 편향된 표집, 잘못 레이블된 목표, 중복된 개체, 빠진 배포 하위 집단이 고쳐지지는 않는다. 데이터 수집은 모델이 작동할 것으로 예상되는 사례의 범위를 넓히는 방향이어야 한다.

유연한 모델은 잘못 레이블된 관측값, 측정 오차, 우연한 상관관계에도 맞출 수 있다. Zhang 외는 실험에서, 연구에 쓰인 표준 합성곱 신경망이 레이블을 무작위로 섞은 뒤에도 학습 오차를 0까지 줄일 수 있고 무작위 입력에도 맞출 수 있음을 보였다. 이 결과는 해당 구조와 학습 절차에서 실질적인 유효 용량이 크다는 것을 보여 준다. 모든 신경망이 임의의 데이터셋을 모두 암기할 수 있다는 뜻은 아니며, 깨끗하고 구조화된 데이터에 맞추는 것이 단순한 암기라는 뜻도 아니다.⁷

잡음이 언제나 제거될 수 있는 것은 아니다. 일부 레이블은 본질적으로 모호하거나 주석자들 사이의 의견 차이를 반영한다. 목표 자체가 불안정하면, 모델은 한 레이블링 과정에는 과적합된 것처럼 보이고 다른 과정과는 맞는 것처럼 보일 수 있다. 보고서는 모든 불일치를 모델 오류로 취급하지 말고, 레이블의 출처, 조정 과정, 결측, 추정된 불일치를 기술해야 한다.

고차원 표현은 탐색 절차에 표본 고유의 상관관계를 찾을 기회를 더 많이 준다. 이는 차원의 저주와 관련되어 있지만 같은 것은 아니다. 특징 선택은 분산을 줄일 수 있지만, 평가 전에 모든 데이터로 특징을 고르면 결과 정보가 새어 나간다. 도메인 지식, 사전 명시, 패널티, 재표집 안에서 수행하는 선택이 테스트 결과를 보고 특징을 고르는 것보다 안전하다.

일부 반복형 학습기에서는 검증 성능이 더 나아지지 않은 뒤에도 후속 업데이트가 학습 오차를 계속 줄인다. 이때 조기 종료가 용량 통제 역할을 할 수 있다. 다만 검증 정점 이후의 에포크가 늘 모집단 성능을 나쁘게 한다고 주장하는 것은 잘못이다. 검증 곡선은 요동치며, 에포크 단위의 이중 하강이나 그로킹이 특정 실험에서는 나중에 성능 향상을 가져오기도 한다.^9,11

체크포인트 자체가 하이퍼파라미터다. 검증 궤적에서 골랐다면, 보고되는 성능은 그 선택에 쓰이지 않은 데이터로 평가해야 한다.

5.1. 정보에 비해 유연한 탐색

유연한 가설 집합은 유한한 표본에 맞출 수 있는 방법을 많이 제공한다. 효과적인 탐색이 이용 가능한 정보의 양과 다양성에 비해 클수록 위험이 커진다. 이는 많은 매개변수, 고차 기저 함수, 깊은 트리, 광범위한 특징 생성, 큰 하이퍼파라미터 탐색, 또는 반복된 수작업 실험에서 생길 수 있다. 관련된 양은 보편적인 예시 대 매개변수 비율이 아니다. 현대 신경망은 학습 예시보다 매개변수가 많은 경우가 흔하지만, 매개변수 공유, 최적화 편향, 노름, 증강, 데이터 구조가 도달하는 해를 제약한다.^7,8

일부 추정기에서는 원시 매개변수 개수보다 자유도 수가 더 많은 정보를 줄 수 있다. 그러나 유효 자유도조차 모델과 절차에 특정적이다. 충분한 표본 크기에 대한 주장은 고정된 경험 법칙을 빌려 오기보다, 과제, 잡음 수준, 의존 구조, 목표 오차, 학습 알고리즘에 맞게 정당화해야 한다.

5.2. 작거나 좁거나 의존적인 표본

독립적인 표집 단위가 적으면 경험적 패턴의 신뢰도가 떨어진다. 행이 같은 대상의 반복 측정이거나 거의 중복된 경우, 데이터셋은 수백만 행을 담고 있어도 독립 정보는 적을 수 있다. 좁은 범위도 문제다. 모델이 스캐너, 배경, 작성자, 수집 기간처럼 개발 데이터에서만 레이블과 상관된 우연한 맥락에 의존하게 만들 수 있다.

대표적인 관측치를 추가하면 불확실성이 줄어드는 경우가 많지만, 행을 더 늘린다고 편향된 표집, 잘못 표지된 목표, 중복된 개체, 또는 빠진 배포 하위집단이 고쳐지지는 않는다. 데이터 수집은 모델이 작동할 것으로 예상되는 사례의 범위를 넓히는 방향이어야 한다.

5.3. 잡음과 모호성

유연한 모델은 잘못 표지된 관측치, 측정 오차, 우연한 상관관계에도 맞출 수 있다. Zhang 등은 연구에서 사용한 표준 합성곱 신경망이 레이블을 무작위로 섞은 뒤에도 학습 오차 0에 도달할 수 있고, 무작위 입력에도 맞출 수 있음을 실험으로 보였다. 이 결과는 해당 구조와 학습 절차가 상당한 유효 용량을 가진다는 것을 보여 준다. 그러나 모든 신경망이 임의의 데이터셋을 암기할 수 있다는 뜻은 아니며, 구조화된 깨끗한 데이터에 맞추는 것이 단순한 암기라는 뜻도 아니다.⁷

잡음이 항상 제거 가능한 것은 아니다. 일부 레이블은 본질적으로 모호하거나 주석자 간 의견 차이를 반영한다. 목표 자체가 불안정하면 모델은 한 레이블링 과정에는 과적합된 것처럼 보이고 다른 과정에는 맞을 수 있다. 보고서는 모든 불일치를 모델 오류로 취급하지 말고, 레이블 출처, 판정 절차, 결측, 추정된 불일치를 기술해야 한다.

5.4. 무관하거나 근거가 약한 특징

고차원 표현은 탐색 절차에 표본 특이적 상관관계를 찾을 기회를 더 많이 준다. 이는 차원의 저주와 관련되지만 동일하지는 않다. 특징 선택은 분산을 줄일 수 있으나, 평가 전에 전체 데이터로 특징을 선택하면 결과 정보가 누출된다. 도메인 지식, 사전 명시, 페널티 부여, 리샘플링 내부에서 수행한 선택이 테스트 결과를 본 뒤 특징을 고르는 것보다 안전하다.

5.5. 장기 또는 적응적 최적화

일부 반복적 학습기에서는 검증 성능이 개선되지 않은 뒤에도 이후 업데이트가 학습 오차를 계속 줄인다. 이때 조기 종료는 용량 제어 역할을 할 수 있다. 그러나 검증 정점 이후의 모든 추가 에포크가 반드시 모집단 성능을 악화시킨다고 주장하는 것은 잘못이다. 검증 곡선은 요동치며, 에포크 단위 이중 하강(double descent)이나 그로킹(grokking)은 특정 실험에서 이후의 개선을 만들어낼 수 있다.^9,11

체크포인트 자체가 하이퍼파라미터다. 검증 궤적에서 선택했다면, 그 체크포인트의 보고된 성능은 선택에 쓰이지 않은 데이터에서 평가해야 한다.

6. 모델군별 양상

같은 일반화 실패도 서로 다른 기제로 나타날 수 있다.

이것들은 진단이 아니라 경향이다. 이웃 크기가 작은 규칙이 일부 과제에서는 적합할 수 있고, 깊은 트리가 결정적 규칙을 표현할 수 있으며, 매우 큰 신경망이 일반화할 수도 있다. 적합된 개별 모델이 명시된 목표에서 성공했는지는 평가 절차가 판단한다.

7. 완화 전략

보편적으로 가장 좋은 규제 방법은 없다. 완화책은 관찰된 실패 양상을 겨냥해야 하며, 최종 평가를 오염시키지 않는 방식으로 골라야 한다.²

7.1. 데이터와 분할 개선

가장 직접적인 개입은 모델을 바꾸기 전에 이루어지는 경우가 많다.

• 독립적이고 대표성 있는 표집 단위를 더 모은다.
• 레이블 오류를 고치고, 피할 수 없는 모호성을 기록한다.
• 분할 전에 개체 식별자나 유사도 검사로 중복을 제거한다.
• 대상, 사이트, 시간, 지역, 또는 배포와 관련된 다른 단위로 분할한다.
• 전처리는 각 분할의 학습 부분에만 맞춘다.
• 실제로 손대지 않은 테스트 세트를 따로 두거나 외부 재표집 루프를 쓴다.
• 사전에 지정한 하위 집단과 분포 변화 평가를 포함한다.
• 단순한 기준선을 써서 복잡도 추가가 재현 가능한 이득을 가져오는지 확인한다.

데이터는 목표 모집단과 관련된 정보를 더할 때만 쓸모가 있다. 같은 좁은 관측값을 반복해서 모으면 지름길을 없애기보다 오히려 강화할 수 있다.

7.2. 패널티가 있는 목적함수

패널티는 목적함수를 경험적 적합만으로 두지 않고, 경험적 적합에 복잡도에 따른 항을 더한 것으로 바꾼다. 매개변수 w에 대한 L1 패널티 목적함수는 다음 형태다.

\min_w \frac{1}{n}\sum_{i=1}^{n}\ell(f_w(x_i),y_i)+\lambda\lVert w\rVert_1.

최소제곱 선형 회귀에서는 이것이 Tibshirani가 도입한 라소다. L1 패널티는 계수를 0으로 만들 수 있지만, 그것이 신뢰할 만한 특징 선택으로 이어지는지는 설계, 잡음, 패널티, 표집 과정에 달려 있다.¹⁸

L2 패널티 목적함수는 다음 형태다.

\min_w \frac{1}{n}\sum_{i=1}^{n}\ell(f_w(x_i),y_i)+\lambda\lVert w\rVert_2^2.

선형 최소제곱에서는 이것이 릿지 회귀다. 엘라스틱 넷은 L1 항과 L2 항을 결합한 것으로, 상관된 예측변수가 있는 경우를 포함해 예측과 변수 선택의 거동을 다루기 위해 개발되었다. 패널티 강도는 개발 절차 안에서 골라야 한다.¹⁹

가중치 감쇠는 최적화 중 매개변수에 수축 계수를 곱한다. 고정된 스칼라 학습률을 쓰는 일반 확률적 경사 하강법에서는 흔한 구현이 L2 패널티와 밀접하게 관련된다. 그러나 적응적 경사 방법에서는 좌표별 재조정이 L2 기울기의 효과도 바꾸기 때문에 이 등가성이 일반적으로 성립하지 않는다. AdamW는 적응적 최적화에서 가중치 감쇠를 손실 기울기 갱신과 분리하기 위해 제안되었다. 설명에는 L2 규제와 가중치 감쇠를 같은 말로 취급하지 말고, 최적화 알고리즘과 구현을 밝혀야 한다.²⁰

7.3. 드롭아웃과 조기 종료

원래의 드롭아웃 기법은 신경망 학습 중에 유닛과 그 연결을 무작위로 제외한다. Srivastava 외는 이를 공동 적응을 줄이는 방법으로 제시했고, 예측을 여러 개의 얇아진 신경망을 평균하는 것의 근사로 설명했다. 드롭아웃은 드롭아웃 규제 안의 한 가지 선택지이며, 그 효과와 최적 비율은 구조, 데이터셋, 정규화, 학습 레시피에 따라 달라진다.²¹

추론 실행 시의 스케일링은 구현에 따라 다르다. 원래 제시된 방식에서는 유지 확률을 고려해 활성값이나 나가는 가중치를 조정했다. 많은 최신 라이브러리는 역 드롭아웃을 쓴다. 학습 중에 유지된 활성값을 스케일링하므로 추론 실행 때 추가 스케일링이 필요 없다. 기술 설명에서는 모든 구현이 모든 유닛을 같은 방식으로 활성화하고 출력을 같은 방식으로 스케일링한다고 주장하지 말아야 한다.

조기 종료는 개발 성능을 이용해 최적화 궤적 위의 한 지점을 고른다. Prechelt는 신경망 학습을 위한 실용적 종료 기준을 정리했다. 일부 역문제와 재생 커널 설정에서는 종료 시점을 단순한 계산상의 편의가 아니라 규제 매개변수로 분석할 수 있다.^22,23

방어할 수 있는 절차는 최종 테스트 세트를 보기 전에 모니터링 지표, 평가 주기, 인내 횟수나 선택 규칙, 최소 개선폭, 체크포인트 복원 방식을 미리 명시한다. 체크포인트를 고르는 데 쓰인 검증 세트는 개발 데이터다. 조기 종료는 자주 도움이 되지만, 테스트 오차가 단조롭지 않거나 일반화가 지연되는 설정에서는 너무 일찍 멈출 수 있다. 이 예외는 종료 규칙을 검증해야 한다는 근거이지, 무한정 학습해야 한다는 근거가 아니다.

7.4. 데이터 증강

데이터 증강은 과제와 관련된 의미를 보존하도록 설계한 변환으로 학습 분포를 넓힌다. 예로는 컴퓨터 비전의 기하 변환, 음성의 정의된 섭동, 알려진 물리적 대칭에 기반한 변환이 있다. 변환된 표본은 레이블이나 목표가 규정된 방식으로 바뀔 때만 유효하다.

Bishop은 제곱합 목적함수와 작은 입력 잡음 아래에서, 잡음을 넣은 학습이 Tikhonov 항과 관련된 규제 효과가 있음을 보였다. mixup은 예시 쌍과 그 레이블의 볼록 결합으로 학습하며, Zhang 외의 실험에서 일반화 개선이 보고되었다. 더 최근의 이론 연구는 증강을 알려진 불변성을 활용하는 방법으로 보고, 특정 추정량 클래스에서 대칭군의 부분집합이 통계적 이점을 유지할 수 있는 경우를 분석한다.^24,25,26

증강이 잘못될 수도 있다. 좌우 반전은 일부 글쓰기나 의료 좌우 구분 과제에서 레이블을 바꾸고, 시간 늘이기는 템포로 정의된 목표를 바꿀 수 있으며, 동의어 치환은 의미를 바꿀 수 있다. 증강은 과제에 맞게 정당화하고, 학습 안에서만 적용하며, 하위 집단 효과와 분포의 현실성을 평가해야 한다.

7.5. 앙상블과 모델 용량

앙상블 방법은 예측기를 결합한다. Breiman의 배깅은 부트스트랩 복제본을 만들어 적합된 예측기들을 평균하거나 투표로 결합한다. 이는 분산을 줄여 불안정한 절차를 개선하도록 설계되었다. 랜덤 포레스트는 트리 앙상블에 무작위 특징 선택을 더한 것이며, 그 거동은 트리의 강도와 상관에 따라 달라진다.^27,28

앙상블이 과적합을 막아 준다고 보장하지는 않는다. 상관된 모델은 같은 지름길을 반복할 수 있고, 부스팅은 잡음에 맞출 수 있으며, 재사용된 보류 데이터로 앙상블 구성원을 고르면 선택 자체가 과적합될 수 있다. 타당한 비교는 앙상블을 만드는 전체 절차를 평가 프로토콜 안에 포함해야 한다.

현재 절차가 가용한 정보에 비해 너무 유연할 때는 깊이, 너비, 다항식 차수, 트리 깊이, 특징 집합을 줄이는 것이 도움이 될 수 있다. 작은 모델이 항상 더 잘 일반화한다는 보편 규칙은 아니다. 작은 모델은 과소적합할 수 있고, 더 큰 매개변수화가 최적화를 더 매끄럽거나 노름이 낮은 보간 해 쪽으로 이끌 때도 있다.^8,10

가지치기는 자체 선택 기준을 가진 알고리즘으로 다뤄야 한다. 트리 가지치기는 구조에 직접적인 역할을 하는 반면, 신경망 가지치기는 압축과 효율을 위해서도 쓰인다. 학습 후 매개변수를 제거한다고 모집단 위험이 자동으로 줄지는 않는다. 한 구조나 데이터셋에서 찾은 희소 부분망이 모든 신경망을 몇 퍼센트 줄여야 한다는 일반 기준을 세워 주지도 않는다.

배치 정규화는 최적화를 바꿀 수 있고, 일부 실험에서는 일반화에도 영향을 줄 수 있다. 여기에는 아래에서 다루는 강화 학습 연구도 포함된다. 이를 일반적인 과적합 방지 보장으로 나열해서는 안 된다. 그 효과는 배치 통계, 구조, 배치 크기, 학습과 추론 실행 사이의 동작에 따라 달라진다.²⁹

8. 최적화와 현대적 일반화 현상

최적화 알고리즘은 많은 매개변수가 데이터에 맞을 때 어떤 해가 선택될지를 정한다. 확률적 경사 하강법(SGD)에 관한 분석은 특정 목적함수와 가정을 다루며, 여기에는 일부 선형 문제의 안정성 상한과 최소 노름 거동이 포함된다. 이 결과들은 SGD가 모든 과매개변수화 신경망에서 항상 최소 노름 해로 수렴한다는 포괄적 주장을 뒷받침하지 않는다.^10,16

암묵적 편향이 중요할 때는 학습 레시피가 모델 정의의 일부다. 학습률 스케줄, 초기화, 배치 구성, 최적화 알고리즘, 종료 규칙, 명시적 페널티, 수치 정밀도, 데이터 순서가 모두 선택되는 예측기에 영향을 줄 수 있다. 재현 가능한 평가는 일반화를 매개변수 수 하나에만 돌리지 않고 이들을 기록한다.

Zhang 외의 실험에서, 실제 레이블을 맞출 수 있는 신경망은 연구된 이미지 분류 설정에서 무작위 레이블과 무작위 입력도 맞출 수 있었다. 이 논문은 또한 흔히 쓰는 명시적 규제 기법만으로는 관찰된 일반화 거동을 설명하기에 충분하지 않다는 점을 보였다. 명목상의 용량에만 근거한 설명에 의문을 제기한 것이다.⁷

다음 두 결론은 구분해서 봐야 한다.

• 학습 오차가 0이라는 것은 보간을 보여 줄 뿐이며, 유용한 일반화를 자동으로 뜻하지 않는다.
• 손상된 데이터셋을 외울 수 있다는 사실이, 구조화된 데이터로 학습한 예측기가 같은 표현이나 판단 규칙을 쓴다는 뜻은 아니다.

아키텍처, 데이터 구조, 최적화 방식, 마진, 노름, 안정성, 증강은 모두 어떤 보간 해가 선택되는지에 영향을 줄 수 있다.

이중 하강은 위험 곡선이 비단조적으로 나타나는 현상이다. 테스트 위험은 처음에는 고전적인 U자형을 따르다가, 보간 임계점 근처에서 정점을 찍고, 유효 용량이 더 커지면 다시 떨어진다. Belkin 외는 이 통합 곡선과 여러 모델군, 데이터셋에서의 실험을 제시했다. 여기서 보간 임계점은 적합된 예측기가 처음으로 학습 위험을 거의 0으로 만드는 지점을 가리키며, 원시 매개변수 수와 표본 수가 같아지는 지점이 아니다.⁸

Nakkiran 외는 OpenAI 소속 연구자를 포함한 여러 딥러닝 실험에서 모델별, 에포크별, 표본별 이중 하강 거동을 보고했다. 대표적인 그림에서는 레이블 잡음 15%, 데이터 증강, Adam, 최대 4,000 에포크 조건에서 CIFAR-10 데이터셋의 ResNet-18 모델을 사용했다. 이 설정에서 테스트 오차는 너비와 학습 시간 모두에 대해 비단조적으로 변했다. 이런 증거는 교과서적인 단조 휴리스틱이 실패할 수 있음을 보여 준다. 그러나 모든 모델, 데이터셋, 딥러닝 학습 실행에 두 번째 하강이 있다는 뜻은 아니다.⁹

실무적 결과는 제한적이지만 중요하다.

• 관찰된 보간 임계점의 양쪽에서 복잡도를 평가하고, 처음 나온 검증 최솟값이 전역 최적이라고 가정하지 않는다.
• 매개변수 수만으로 유효 용량을 추정하지 않는다.
• 같은 과제에 대한 검증 근거 없이 보간 정점을 일부러 넘지 않는다.
• 검증 곡선에서 영역을 골라내는 것 자체가 모델 선택이므로, 손대지 않은 평가 세트를 남긴다.

대규모 언어 모델이 보간 임계점에서 충분히 멀리 떨어져 있어야 안전하다는 주장은, 매개변수와 토큰 수만으로는 대개 정당화되지 않는다. 반복 토큰, 시퀀스 의존성, 목적함수, 스케일링, 독립적으로 제약된 학습 방정식의 정의가 이 비교를 복잡하게 만든다.^8,9

양성 과적합은 특정 설정에서 잡음이 섞인 학습 데이터에 정확히 맞으면서도 예측 위험은 거의 최적 수준을 유지하는 상태다. Bartlett, Long, Lugosi, Tsigler는 이차 손실을 쓰는 고차원 선형 회귀에서 최소 노름 보간 해가 언제 거의 최적의 예측 정확도를 얻을 수 있는지 규정했다. 그 조건은 특징 공분산의 유효 랭크 성질을 쓰며, 표본 크기에 비해 예측에 중요하지 않은 방향이 많이 있어야 한다고 요구한다.

이 결과는 잡음이 고차원에서 평균으로 사라진다는 구호보다 좁다. 특정 선형 모델, 손실, 보간 규칙, 공분산 구조에 관한 것이다. 그 틀 안에서도 스펙트럼이 중요하다. 임의의 신경망, 데이터셋, 최적화 방식, 또는 어떤 형태의 레이블 잡음이든 양성적으로 과적합한다는 것을 보여 주지는 않는다. 이 용어는 보간과 해로운 일반화 오차를 구분해 준다는 점에서 유용하다. 적합된 모델은 경험 위험이 0이어도 초과 모집단 위험이 작게 남을 수 있다. 실제 절차에서 이것이 일어나는지는 그 절차에 대해 증명하거나 도출해야 한다.¹⁰

그로킹은 모델이 이미 학습 데이터에 맞은 뒤에 나타나는 지연된 일반화다. Power 외는 알고리즘으로 생성한 작은 이항 연산 표를 쓴 실험에서 이 용어를 도입했다. 일부 실행에서는 학습 정확도가 완벽해진 뒤에도 검증 정확도가 우연 수준에 머물다가, 최적화를 더 오래 하면 급격히 올랐다. 이들의 논문은 연구한 과제에서 가중치 감쇠가 특히 효과적이었다고 보고했지, 그로킹의 모든 사례에 가중치 감쇠가 필요하다고 한 것은 아니다.¹¹

Nanda, Lawrence Chan, Tom Lieberum, Jess Smith, Jacob Steinhardt는 모듈러 덧셈을 학습한 1층 트랜스포머를 기계적 해석 가능성으로 분석했다. 이들은 학습된 푸리에 기반 알고리즘을 찾아내고, 암기, 회로 형성, 정리의 세 단계를 기술했다. 이 실험에서 테스트 정확도의 급격한 전환은 일반화하는 기제가 형성된 뒤에, 가중치 감쇠가 암기 성분을 제거하면서 일어났다. 이는 분석된 모델과 과제에 대한 기계적 결과이며, 보편적인 회로 설명이 아니다.³⁰

이후 연구는 그림을 넓혔다. Pascal Jr Tikeng Notsawo, Guillaume Dumas, Guillaume Rabusseau는 L1이나 도메인 특화 규제가 L2 규제를 대신할 수 있는 이론적·경험적 설정과, 명시적 L2 페널티 없이 깊이나 데이터 구조가 암묵적 규제를 제공하는 설정을 보고했다. 따라서 그로킹은 조기 종료를 무시하라는 일반 권고를 뒷받침하지 않는다. 그로킹은 데이터, 구조, 최적화, 규제에 따라 발생 여부, 지연 정도, 기제가 달라지는 실험 의존적 현상이다.³¹

이 행들은 어느 것도 학습 손실만으로 추론할 수 없다.

9. 강화 학습, 개인정보, 고위험 예측

강화 학습에서는 독립 단위가 개별 관측값이 아니라 환경 구성, 초기 상태, 시드, 과제, 전이 체제일 수 있다. 개발과 보고에 같은 고정 환경을 쓰면 에이전트가 그 환경에 특화될 수 있다. Cobbe 외는 CoinRun의 절차적 생성 레벨을 도입해 학습 환경과 테스트 환경을 구분했고, 이 벤치마크에서 과적합을 기록했다. 실험에서는 놀랍도록 큰 학습 세트에서도 과적합이 나타났다. Cobbe 외가 보고한 대응책에는 더 깊은 합성곱 구조와 L2 규제, 드롭아웃, 데이터 증강, 배치 정규화 같은 방법이 포함되었다. 이 결과들은 벤치마크에 특수한 것이다. 강화 학습 평가는 환경, 시드, 보상 함수, 확률적 전이를 어떻게 분리했는지, 그리고 주장하는 바가 같은 생성기의 새 인스턴스인지 다른 생성기로의 전이인지 밝혀야 한다.²⁹

과적합은 모델이 학습 구성원과 비구성원에서 다르게 동작할 수 있기 때문에 개인정보 위험을 높일 수 있다. Yeom 외는 멤버십 추론 공격을 분석하고, 그들의 공격과 가정 아래에서 과적합과 멤버십 우위 사이의 관계를 보였다. 또한 과적합이 멤버십 추론이나 속성 추론의 필수 조건은 아니라는 것도 보였다. 강건성 성질, 영향력 큰 레코드, 모델 출력, 악의적 학습은 통상적인 일반화 격차가 없어도 위험을 만들 수 있다. 따라서 격차를 줄이는 것이 곧 개인정보 보장이 되지는 않는다. 개인정보 평가에는 명시적 위협 모델, 공격 평가, 접근 가정, 필요한 경우 차등 개인정보 보호 같은 형식적 메커니즘이 필요하다.³²

의료, 사회, 과학 응용에서는 전처리와 분할 설계가 겉보기 모델 비교를 좌우하는 경우가 많다. 목표가 새 단위일 때 한 사람이나 한 실험 단위에서 나온 측정값을 여러 폴드에 흩뿌리면 안 된다. 시간 예측에서는 미래에서 파생된 특징을 쓰면 안 된다. 사이트별 인공물이 연구하려는 생물학적 또는 사회적 신호를 대신할 수도 있다.^5,15

중요한 주장에 대해서는 완전한 보고서가 코호트 구성, 제외 기준, 결측 처리, 레이블 시점, 전처리 적합, 후보 탐색, 분할 단위, 외부 검증, 하위 집단 결과, 보정(calibration), 불확실성을 포함해야 한다. 이런 정보 없이 높은 교차 검증 점수만 제시하면 과적합을 배제하기에 충분하지 않다.

10. 실무적 감사 절차

다음 순서는 임의의 정확도 기준을 피한다.

• 주장을 정의한다. 결과 변수, 손실 또는 효용, 목표 모집단, 예측 시점, 표집 단위, 허용 오차를 명시한다.
• 출처를 추적한다. 중복, 공유 개체, 미래 정보, 목표에서 파생된 특징, 레이블 출처, 전처리 의존성을 찾는다.
• 분할 역할을 고정한다. 매개변수 적합, 모델 선택, 최종 평가를 분리하고 필요하면 집단별, 시간별, 중첩 분할을 쓴다.
• 기준선을 미리 정한다. 탐색을 넓히기 전에 단순하고 도메인에 관련된 비교 대상을 포함한다.
• 각 학습 분할 안에서 전체 파이프라인을 적합한다. 결측값 대체, 정규화, 특징 선택, 증강 정책 적합, 보정 선택을 포함한다.
• 절대 성능과 격차를 점검한다. 학습 성능과 개발 성능을 비교하되, 어느 쪽이든 쓸모가 있는지도 보고한다.
• 변동성을 정량화한다. 정당화된 시드나 재표본으로 다시 적합하고, 구간을 보이며, 영향력 있는 관측값과 분할 선택에 대한 민감도를 보고한다.
• 지름길과 분포 변화를 검사한다. 하위 집단, 시간, 사이트, 손상, 제거 실험, 음성 대조를 그럴듯한 실패에 맞춰 쓴다.
• 증거에 기반해 완화책을 고른다. 데이터 수정, 패널티, 증강, 조기 종료, 앙상블, 용량 변경은 서로 다른 문제를 푼다.
• 잠긴 데이터에서 한 번만 평가한다. 결과를 개발에 되먹이면서 여전히 최종 테스트라고 부르지 않는다.
• 탐색 과정을 기록한다. 후보 계열, 하이퍼파라미터 범위, 종료 규칙, 선택된 체크포인트, 선택 편향과 관련된 실패한 대안을 보고한다.
• 배포 후 모니터링한다. 새 분포 변화, 피드백 루프, 레이블 변화는 이전 일반화 추정을 무효화할 수 있지만, 원래 모델이 과적합이었다는 사실을 소급해서 증명하지는 않는다.

원하는 결과는 반드시 가장 작은 학습-테스트 격차가 아니다. 목표 위험이 낮고 잘 추정된 상태가 바람직하다. 의도적으로 규제된 모델은 학습 손실이 더 높아도 목표 위험이 더 낮을 수 있다. 과소적합된 모델은 격차가 아주 작아도 목표 위험이 용납되지 않을 수 있다. 정밀한 감사는 이런 경우들을 구분해서 본다.

11. 흔한 오해

• '매개변수가 예시보다 많은 모델은 과적합이다.'라는 주장은 맞지 않다. 매개변수 수만으로는 유효 용량이나 모집단 위험이 정해지지 않는다. 과매개변수화된 보간 모델도 일반화할 수 있고, 작은 모델도 적응적 특징 탐색에서 과적합할 수 있다.
• '학습 정확도가 완벽하면 암기가 증명된다.'라는 주장도 맞지 않다. 이는 학습 지표에서 정확히 맞았다는 것만 증명한다. 학습된 규칙이 조회표인지, 일반 알고리즘인지, 혼합인지는 다른 증거가 필요하다.
• '학습-검증 격차가 크면 모델이 잡음을 학습했다.'라는 주장은 단정할 수 없다. 격차는 조사할 근거가 되지만, 표집 변동, 누출, 지표 불일치, 의존성, 분포 변화도 원인일 수 있다.
• '격차가 작으면 일반화가 좋다.'라는 주장도 단정할 수 없다. 두 점수가 모두 낮을 수도 있고, 보류 데이터가 오염되었을 수도 있으며, 두 표본이 모두 배포 모집단을 빠뜨렸을 수도 있다.
• '교차 검증이 과적합을 막는다.'라는 주장은 맞지 않다. 교차 검증은 분할 설계 아래의 절차를 추정한다. 같은 폴드로 탐색하고 우승자를 보고하면 교차 검증 기준 자체가 과적합될 수 있다.
• '데이터는 많을수록 항상 도움이 된다.'라는 주장도 맞지 않다. 대표성 있는 독립 정보를 더하면 보통 도움이 되지만, 중복되거나 편향되거나 잘못 레이블된 데이터, 또는 임계 근처의 데이터는 다른 효과를 낼 수 있다. 특정 체제에서는 표본별 이중 하강도 관찰되었다.
• '가중치 감쇠는 L2 규제와 같다.'라는 주장은 특정 최적화 갱신에서만 성립한다. 적응적 방법 때문에 분리된 가중치 감쇠가 나왔다.
• '배치 정규화, 가지치기, 드롭아웃은 자동으로 과적합을 막는다.'라는 주장도 맞지 않다. 각각은 구조, 데이터, 최적화 방식, 평가에 따라 효과가 달라지는 절차다.
• '현대의 이중 하강은 조기 종료가 쓸모없다는 뜻이다.'라는 주장은 맞지 않다. 최적 종료 규칙이 경험적이고 과제에 의존한다는 뜻이다. 조기 종료는 많은 설정에서 여전히 유용하다.
• '그로킹에는 가중치 감쇠가 필요하다.'라는 주장도 맞지 않다. 가중치 감쇠는 원래 실험에서 효과적이었지만, 이후 연구는 명시적·암묵적 대안을 기록했다.^{4,7,8,9,10,11,15,20,22,23,30,31}

12. 관련 개념

과적합은 더 넓은 모델 개발 실패 계열의 한 구성원이다.

• 과소적합: 적합된 절차가 개발 데이터에서도 좋은 성능을 내는 데 필요한 표현, 최적화, 정보가 부족한 상태다.
• 분포 변화: 목표 분포가 개발 분포와 다른 상태다.
• 데이터 누출: 쓸 수 없거나 보류해야 할 정보가 개발이나 평가에 영향을 주는 상태다.
• 선택 편향: 보고된 결과가 그것을 고르는 데 쓰인 같은 잡음 있는 기준의 도움을 받은 상태다.
• 보정 불량(miscalibration): 예측 확률이 관측 빈도와 맞지 않는 상태로, 순위 성능은 허용할 만할 수도 있다.
• 지름길 학습: 모델이 예측력은 있지만 의도하지 않은 특징을 쓰며, 관련 변화가 생기면 실패할 수 있다.
• 기억: 예측기가 학습 특유의 정보를 보유하거나 재생하는 상태다. 과적합이나 개인정보 위험에 기여할 수 있지만, 둘 중 어느 것과도 같지는 않다.

관련 문서: 머신러닝, 지도 학습, 딥러닝, 머신러닝 용어.