규제

쉽게 말하면, 규제는 모델이 학습 데이터에만 맞춰지지 않고 처음 보는 데이터에서도 잘 맞히도록 학습 방식을 일부러 바꾸는 일이다. 가장 익숙한 형태는 가중치 크기에 패널티를 매기는 것이지만, 학습을 일찍 멈추거나 데이터를 변형해 늘리거나 학습 중에 잡음을 넣는 방법도 같은 목적으로 쓴다. 그래서 규제의 효과는 적용했다고 가정할 것이 아니라 실제로 평가해야 한다.

1. 정의

규제는 모델을 학습 데이터에 맞추는 데서 그치지 않고, 처음 보는 데이터에서의 성능을 높이기 위해 학습 문제나 학습 알고리즘을 의도적으로 바꾸는 모든 작업을 가리킨다. 흔히 과적합을 줄이는 방법으로 소개되지만, 개념은 패널티를 추가하거나 모델을 작게 만드는 것보다 넓다. 매개변수에 대한 제약, 데이터 증강, 조기 종료, 학습 중 잡음 주입, 최적화 알고리즘의 성질도 모두 추정량을 규제할 수 있다. 학습 오차가 모든 실행에서 늘어나는 것은 아니면서도 일반화 성능이 좋아질 수 있으므로, 효과는 가정하지 말고 평가해야 한다.²

경험적 손실 R_n(θ)에 대해 흔히 쓰는 명시적 형태는 다음과 같다.

θ̂_λ = argmin_θ { R_n(θ) + λΩ(θ) }

여기서 Ω(θ)는 패널티이고 λ ≥ 0은 그 기여도를 정한다. 관련된 제약식 형태는 Ω(θ) ≤ t 조건에서 R_n(θ)를 최소화하는 것이다. 적절한 볼록성과 정규성(regularity) 조건 아래에서는 특정 λ와 t가 같은 해를 만들 수 있지만, 이 대응은 유일하지 않을 수 있고 그런 조건이 없으면 성립하지 않을 수도 있다. λ의 숫자 값은 수식과 소프트웨어마다 그대로 옮길 수 없다. 손실을 합이 아니라 평균으로 계산하는지, 1/2 같은 계수를 넣었는지, 예측 변수의 척도를 바꿨는지, 절편을 제외했는지에 따라 같은 λ의 의미가 달라진다.^2,3

2. 명시적 패널티

2.1. 릿지, 라쏘, 엘라스틱 넷

중심화된 선형 회귀에서 설계 행렬 X, 반응 변수 벡터 y, 계수 벡터 β를 쓸 때 위 식들은 한 가지 표기 규약을 따른 것이다. 다른 교재나 프로그램은 손실이나 패널티에 서로 다른 계수를 붙이므로, 겉보기에 비슷한 식이라도 다른 정의를 쓸 수 있다.

릿지는 제곱 유클리드 노름 패널티를 더한다. 위 규약에서 해는 절편을 따로 처리하고 역행렬이 존재할 때 다음과 같다.

β̂_λ = (XᵀX + nλI)⁻¹ Xᵀy

Hoerl과 Kennard는 직교가 아닌 예측 변수 체계를 위해 릿지 회귀를 개발했고, 일부 설정에서는 편향 추정량이 최소제곱법보다 평균제곱오차가 낮을 수 있음을 보였다. 릿지는 보통 이산적인 변수 선택을 하지 않고 모든 계수를 유지한다. 패널티가 단위에 따라 달라지므로 적합 전에 예측 변수를 합리적인 공통 척도로 맞추는 것이 보통 필요하다. 절편은 보통 패널티를 주지 않는다.⁷

L1 규제는 회귀 형태에서 라쏘라고 부르며 절댓값 패널티를 쓴다. Tibshirani는 원래 추정량을 계수 절댓값 합의 상한으로 정의했고, 이 제약 때문에 계수가 정확히 0이 될 수 있다고 밝혔다. 그래서 희소 추정에 유용하지만, 계수가 0이라는 것이 그 변수가 인과적으로나 과학적으로 무관하다는 증거는 아니다. 표본, 패널티 세기, 변수 코딩, 척도에 따라 선택되는 변수가 달라질 수 있다. 강하게 상관된 예측 변수들이 있으면 예측 정보가 비슷한 다른 변수는 빠지고 하나만 선택될 수 있다.^4,8

엘라스틱 넷은 L1과 L2 성분을 함께 쓴다. 위 식에서 α=1이면 라쏘, α=0이면 릿지가 된다. Zou와 Hastie는 예측 변수가 많거나 강하게 상관될 때 나타나는 라쏘의 한계를 일부 보완하려고 이 방법을 소개했고, 이들의 분석은 명시된 조건에서 묶음 효과(grouping effect)가 나타난다고 설명한다. 이 방법이 상관된 변수 묶음 전체를 함께 고른다고 보장하지는 않으며, 모든 데이터셋에서 릿지나 라쏘보다 낫다는 뜻도 아니다.⁸

2.2. 구조적 패널티

패널티는 계수 크기 전체 말고 다른 구조도 담을 수 있다. 그룹 라쏘는 미리 정한 그룹마다 L2 노름을 적용하고 그룹 노름들을 더해, 한 그룹의 계수 전체가 함께 모형에 들어오거나 빠지도록 한다. 인접한 계수의 차이에 패널티를 주거나, 핵 노름으로 행렬의 랭크(rank)에 패널티를 주거나, 적합 함수의 도함수로 거칠기를 조절하는 방법도 있다. 이런 방법은 묶음, 순서, 저랭크 가정, 매끄러움이 문제에 맞을 때만 유용하다.⁹

패널티의 척도는 매개변수화에도 달려 있다. 한 입력 열의 척도를 바꾸면 같은 예측을 나타내는 데 필요한 계수가 바뀌므로, 보정하지 않은 L1·L2 패널티의 효과도 달라진다. 더미 변수 코딩, 기저 함수 선택, 편향이나 정규화 매개변수에 패널티를 줄지 여부 역시 실질적인 모형 선호를 바꿀 수 있다. 따라서 보고된 λ 값은 이런 선택과 함께 볼 때만 의미가 있다.

3. 베이즈 해석

가능도 p(D|θ)와 사전분포 p(θ)가 있을 때 최대 사후 추정(MAP)은 다음 값을 최소화한다.

−log p(D|θ) − log p(θ)

따라서 음의 로그 사전분포가 패널티처럼 작동한다. 서로 독립이고 0을 중심으로 한 가우시안 사전분포는 제곱 노름 항을, 같은 조건의 라플라스 사전분포는 절댓값 항을 만든다. 사전분포의 척도와 λ의 정확한 관계는 가능도, 관측 잡음의 척도, 데이터 손실을 합으로 볼지 평균으로 볼지에 따라 달라진다.²

이 대응에는 중요한 한계가 있다. 연속 라플라스 분포는 0을 포함해 모든 정확한 점에 확률 0을 준다. 라쏘 해에서 정확히 0이 나오는 것은 L1 패널티의 비매끄러운(nonsmooth) 최적화 기하 때문이지, 연속 사전분포가 0에 양의 점확률을 주기 때문이 아니다. 반면 spike-and-slab 사전분포는 0에 이산 성분을 포함한다.

MAP 추정은 사후분포의 최빈값을 돌려주며, 예측이나 불확실성을 사후분포 전체에 걸쳐 적분하지 않는다. 규제 매개변수에 사전분포를 두는 것은 계층적 베이즈 구성이다. 주변 가능도를 최대화해 그 매개변수를 추정하는 방법은 흔히 경험적 베이즈라고 부른다. 이들은 서로 관련된 접근이지만 교차 검증이나 완전한 사후 추론과 같은 것은 아니다.

4. 알고리즘과 데이터 기반 규제

모든 규제가 목적식에 더해지는 항으로 나타나는 것은 아니다. 멈춤 규칙, 주입되는 무작위성, 학습 데이터 구성, 구조, 최적화기 모두 도달하는 해를 바꿀 수 있다.

4.1. 조기 종료

조기 종료는 반복 최적화 알고리즘이 학습 목적식을 끝까지 최소화하기 전에 체크포인트를 고르는 방법이다. 일반적으로 검증 지표를 관찰해 가장 좋은 체크포인트를 보관하고, 미리 정한 기간 동안 개선이 없으면 멈춘다. 이때 검증 데이터는 모형 선택의 일부가 되므로 손대지 않은 최종 테스트 데이터로 함께 쓸 수는 없다.

일부 설정에서는 조기 종료를 반복 규제(iterative regularization)로 형식화할 수 있다. 예를 들어 재생 커널 힐베르트 공간에서 볼록 손실에 대한 결과는 명시적 패널티 없이 정지 시점을 통해 일반화를 입증한다. 그렇다고 조기 종료가 릿지 회귀와 항상 동등하다는 뜻은 아니다. 두 방법의 관계는 모형, 손실, 초기화, 스텝 크기, 최적화 동역학, 정지 규칙에 달려 있다.⁵

4.2. 드롭아웃

드롭아웃은 학습 중 이진 마스크를 뽑아 선택한 유닛과 그 연결을 일시적으로 제거한다. 원 논문은 학습을 여러 얇아진 네트워크가 매개변수를 공유하는 과정으로 해석했고, 테스트 시에는 이들의 결합 예측을 결정적 근사로 쓴다.⁶

대수적으로 동등한 척도 규약이 두 가지 있다. 원 논문 방식에서는 학습 중 유지된 활성값의 척도를 조정하지 않고, 테스트 시 나가는 가중치에 유지 확률을 곱한다. 반전 드롭아웃에서는 학습 중 유지된 활성값을 유지 확률로 나누므로, 일반 추론에서는 별도의 척도 변경이 필요 없다. 두 방식을 섞으면 활성값 크기가 잘못 계산된다. 드롭아웃 비율은 하이퍼파라미터이며, 한 구조나 데이터 환경에서 관찰된 효과가 보편적인 기본값을 뜻하지는 않는다.

4.3. 데이터 증강과 잡음

데이터 증강은 변환된 예시를 생성해 학습 분포를 바꾼다. 규제 효과는 과제에 대한 불변성이나 다른 사전 지식을 인코딩하는 데서 온다. 수평 뒤집기는 한 응용에서는 이미지 라벨을 보존하지만 다른 응용에서는 의미를 뒤집을 수 있고, 단어 치환은 감정이나 사실 내용을 바꿀 수 있다. 따라서 변환이나 혼합 예시는 라벨을 보존한다고 가정하지 말고 과제별로 타당성을 확인해야 한다.²

잡음은 입력, 은닉 활성값, 목표값, 기울기, 매개변수 중 어디에나 넣을 수 있다. Bishop은 작은 평균 0 입력 잡음과 제곱합 오차 아래에서 잡음을 넣은 학습이 규제된 근사로 볼 수 있으며, 그 결과 나타나는 양의 정부호 항이 신경망 사상(mapping)의 도함수를 포함하는 일반화된 Tikhonov 규제자임을 보였다. 이 결과가 임의의 잡음 주입이 일반 L2 가중치 감쇠와 같다는 뜻은 아니다. 잡음의 위치와 분포, 진폭, 손실, 모형이 효과를 정한다.¹⁰

5. 신경망 매개변수 통제

5.1. L2 패널티와 가중치 감쇠

L2 패널티는 매개변수에 비례하는 기울기를 만든다. 학습률 η를 쓰는 기본 경사 하강법 아래에서 목적항 λ‖w‖₂²/2는 다음 갱신식을 낳는다.

w_{t+1} = (1 − ηλ) w_t − η∇L(w_t)

이 식은 일반 확률적 경사 하강법에서 L2 규제와 적절히 매개변수화된 곱셈형 가중치 감쇠가 같다는 것을 설명한다. 다만 λ가 목적식 계수를 가리키는지 단계별 감쇠율을 가리키는지에 따라 식이 달라진다.

적응형 전처리(preconditioned) 최적화기에서는 손실 기울기에 λw를 더하는 것이 매개변수를 따로 감쇠하는 것과 일반적으로 같은 갱신을 만들지 않는다. Loshchilov와 Hutter는 이 차이를 정식화하고 AdamW를 포함한 분리형 가중치 감쇠를 제안했다. 분리한다고 해서 학습률과 감쇠 스케줄을 조정할 필요가 없어지지는 않는다. 일부 매개변수를 감쇠에서 제외하는 것은 모든 모형이 공유하는 수학적 요구가 아니라 구현 선택이다.¹¹

5.2. 레이블 스무딩

K개 클래스 분류에서 원-핫 목표 q가 있을 때, 레이블 스무딩은 다음과 같은 혼합 분포로 바꾼다. 여기서 u는 흔히 균등 분포다.

q′ = (1 − ε) q + ε u

Szegedy 연구진은 Inception 연구에서 이 형태를 분류기 규제자로 도입했다. 관측된 클래스에 할당되는 목표를 제한하지만, 「과신을 막는다」는 표현을 모든 데이터셋에서 보정된 확률을 보장한다는 뜻으로 읽으면 안 된다.¹²

Müller, Kornblith, Hinton은 연구한 과제에서 일반화와 보정이 좋아졌다고 보고했지만, 레이블 스무딩을 적용한 교사 모형은 로짓에 담긴 정보가 바뀌어 지식 증류에서는 효과가 떨어진다는 것도 확인했다. 따라서 레이블 스무딩은 단순히 신뢰도 점수 하나를 줄이는 것이 아니라 학습된 표현과 후속 활용을 바꿀 수 있다.¹³

5.3. 스펙트럼 정규화

0이 아닌 가중치 행렬 W에 대해 스펙트럼 정규화는 W를 W/σ(W)로 바꾼다. 여기서 σ(W)는 가장 큰 특잇값이다. Miyato 연구진은 생성적 적대 신경망의 판별기를 안정화하려고 이 방법을 제안했고, 거듭제곱 반복(power iteration)으로 스펙트럼 노름을 추정했다. 정규화된 연산자 노름을 1이 아닌 값으로 맞추는 계수를 둘 수도 있다.¹⁴

개별 행렬 노름을 제어하면 신경망의 립시츠 상수에 대한 상한에 기여할 수 있다. 그러나 그 상한은 관련 층과 활성함수 상수의 곱이며, 합성곱, 잔차 경로, 어텐션, 편향 등 다른 연산을 어떻게 표현하는지에도 달려 있다. 따라서 일부 가중치에 스펙트럼 정규화를 적용했다고 모형 전체가 정확히 1-립시츠이거나 모든 섭동에 강건하다고 증명되지는 않는다.

5.4. 정규화 층

배치 정규화는 학습 중 미니배치 통계를, 일반 추론 중 저장된 통계를 쓴다. 원 논문은 이를 주로 최적화를 가속하고 안정시키는 방법으로 소개했고, 그 메커니즘을 내부 공변량 이동 감소로 설명하며 실험에서 규제 효과도 보고했다. 이후 Santurkar 연구진은 내부 공변량 이동이 주된 설명이라는 주장에 의문을 제기하고, 관찰된 최적화 이득을 더 매끄러운 손실 거동과 연결했다.^15,16

배치 정규화는 미니배치 통계 때문에 확률성을 만들 수 있지만 고정된 패널티와 같지 않으며, 모든 구조에서 규제 효과가 있다고 말할 수 없다. 그 동작은 배치 구성, 배치 크기, 학습 모드와 추론 모드, 주변 신경망 구조에 달려 있다. 정규화는 일반화에 영향을 줄 때도 규제와 구별되는 개념으로 다루는 것이 좋다.

6. 규제 선택과 평가

규제의 세기는 모형 선택의 하이퍼파라미터다. 타당한 평가는 매개변수 적합, 하이퍼파라미터 선택, 최종 성능 추정을 구분한다. 구체적으로는 다음 순서를 따른다.

• 각 후보 모형은 학습 분할에서만 적합한다.
• 전처리 매개변수, 변수 선택, 증강 정책 등 학습되는 변환은 그 분할 안에서 추정한다.
• 규제 설정은 검증 데이터나 내부 교차 검증으로 고른다.
• 최종 성능은 설정을 고르는 데 쓰이지 않은 데이터로 추정한다.

같은 교차 검증 결과를 넓은 공간에서 반복 탐색한 뒤 성능 추정치로 보고하면 선택 기준 자체가 과적합될 수 있다. Cawley와 Talbot는 이런 선택 편향이 학습 알고리즘 사이의 보고된 차이와 비슷한 수준일 수 있음을 보였다. 중첩 교차 검증이나 별도의 최종 테스트 데이터를 쓰면 선택과 평가를 분리할 수 있다. 묶음, 시간, 공간 구조가 있는 데이터는 그 의존 구조를 존중하는 분할 규칙이 필요하다.¹⁷

후보 값은 유용한 세기가 여러 자릿수에 걸치는 경우가 많아 로그 척도에서 탐색하는 일이 흔하지만, 보편적인 범위는 없다. 적절한 범위는 손실을 정규화하는 방식, 데이터셋 크기, 특징 척도, 최적화기, 배치 일정, 매개변수화에 따라 달라진다. 한 지표에서 가장 좋은 설정이 보정, 희소성, 강건성, 하위 집단 성능에서도 가장 좋지는 않을 수 있다. 결과에 실질적 영향을 주는 하이퍼파라미터는 모두 같은 평가 경계 안에서 선택해야 한다.

규제 경로는 세기에 따라 계수나 검증 점수가 어떻게 변하는지 보여 주는 데 도움이 된다. 그러나 선택된 모형이 표본 변동성에서 자유로워지지는 않는다. 희소 모형은 선택된 변수를 해석하기 전에 재표본 추출에 대한 안정성과 도메인 타당성을 봐야 한다. 신경망의 경우 조기 종료되거나 강하게 규제된 모형은 다른 최적화 예산을 받을 수 있으므로, 학습 예산과 튜닝 노력을 명시하며 비교해야 한다.

7. 효과와 한계

규제는 흔히 편향-분산 상충으로 설명된다. 일부 편향을 받아들이면 가능한 학습 표본들 사이의 변동성을 줄여 기대 예측 오차를 낮출 수 있다. 이는 제곱 오차 추정에서 유용한 설명이지, λ가 커질수록 편향은 단조 증가하고 분산은 단조 감소하며 테스트 오차가 하나의 U자 곡선을 따른다는 법칙은 아니다. 그런 성질은 추정량, 데이터 분포, 손실, 매개변수 공간의 경로에 따라 달라진다.^2,3

패널티를 키우면 결국 과소적합이 생길 수 있고, 너무 약한 패널티는 효과가 없을 수 있다. 규제자는 잘못된 선호를 담을 수도 있다. 작은 효과가 많이 중요할 때 희소성은 해롭고, 실제 불연속점이 있을 때 매끄러움은 해롭다. 변환이 목표값을 바꾸면 불변성에 기반한 증강은 해롭고, 과도한 가중치 축소는 표현 용량뿐 아니라 최적화도 방해할 수 있다.

규제는 데이터 누출, 잘못된 라벨, 부적절한 목적식, 분포 이동, 교란, 잘못된 평가 설계를 고쳐 주지 않는다. 예측용 변수 선택을 인과 발견으로 바꾸지도 않으며, 보정된 확률, 적대적 강건성, 공정성, 프라이버시, 해석 가능성을 보장하지도 않는다. 이런 속성은 각자의 가정, 측정, 통제가 필요하다.