학습률

쉽게 말하면, 학습률은 모델이 한 번 학습할 때 매개변수를 얼마나 크게 바꿀지 정하는 값이다. 값이 너무 크면 학습이 튀거나 발산할 수 있고, 너무 작으면 주어진 학습 예산을 쓰고도 진전이 거의 없을 수 있다. 적절한 값은 데이터, 모델, 옵티마이저, 스케줄에 따라 달라서 어떤 숫자가 항상 맞다고 말하기는 어렵다.

1. 정의

학습률(learning rate)은 반복 최적화 알고리즘이 한 번의 갱신에 적용하는 변화량의 크기를 정하는 하이퍼파라미터다. 머신러닝에서는 보통 η 또는 α로 표기한다.

일반 경사 하강법에서 t번째 반복의 갱신은 다음과 같다.

θₜ₊₁ = θₜ − ηₜ ∇F(θₜ)

여기서 θₜ는 매개변수 벡터, F는 목적 함수 또는 손실 함수, ηₜ는 학습률이다. 수치 최적화에서는 보폭(step size)이라는 말이 더 흔하고, 머신러닝에서는 학습률이라는 말이 관례다. 상수 학습률은 모든 반복에서 같은 η를 쓰고, 학습률 스케줄은 ηₜ가 반복 횟수, 에포크, 검증 기록 또는 다른 신호에 따라 달라지게 한다.²

학습률의 수치 자체는 그것만으로 의미가 없다. 효과는 목적 함수의 척도와 곡률, 모델의 매개변수화, 옵티마이저, 모멘텀이나 적응형 전처리, 배치 구성, 규제, 스케줄에 따라 달라진다. 그래서 Adam이나 트랜스포머, 특정 매개변수 수를 가진 모델 전체에 일반적으로 맞는 학습률은 없다.

요슈아 벤지오의 실무 리뷰는 학습률 선택이 매우 중요하다고 평가했다. 다만 그 권고는 보편 상수가 아니라 명시적으로 경험에 근거한 것이었다.⁷

2. 갱신 크기와 실효 학습률

단순한 1차 갱신은 다음과 같다.

θₜ₊₁ = θₜ − ηₜ dₜ

여기서 dₜ는 알고리즘의 갱신 방향이다. 전체 배치 경사 하강법에서 dₜ는 정확한 경사다. 확률적 경사 하강법(SGD)에서는 표본이나 미니배치로 추정한 값이다. 모멘텀은 현재 경사를 누적된 방향으로 바꾸고, 적응형 방법은 경사 이력으로 좌표마다 크기를 조정한다. 경사 클리핑, 정규화 층, 가중치 감쇠는 실제 매개변수 이동을 더 바꿀 수 있다.²

이 차이 때문에 실효 학습률(effective learning rate)이라는 말이 쓰인다. 이는 매개변수 대비 실제 갱신의 크기를 뜻할 수도 있고, 전처리 후 좌표별 학습률을 뜻할 수도 있다. 문헌 전체에 표준화된 정의는 없다. 예를 들어 Adam은 스칼라 기본 학습률이 있지만, 1차 모멘트 추정값을 2차 모멘트 추정값의 좌표별 함수로 나눈다. 따라서 두 옵티마이저의 스칼라 학습률 항목만 비교하면 오해를 낳을 수 있다.⁴

2.1. 손실 척도와 모멘텀 규약

같은 수치 η가 서로 다른 최적화 문제를 가리킬 수 있다. 목적 함수 전체에 양의 상수 c를 곱하면 경사도 c배가 되므로, cF에 학습률 η를 적용한 경사 하강법은 F에 학습률 cη를 적용한 것과 같은 갱신을 한다. 예제를 합산하는 손실 구현은 같은 예제를 평균하는 구현과 경사 크기가 다르다. 단위 변경, 목표값 정규화, 구성 요소 손실의 상대 가중치 변경도 비슷한 효과를 낼 수 있다.

매개변수화도 중요하다. 서로 다른 신경망이 처음에는 같은 함수를 계산하면서도 매개변수와 경사에 다른 척도를 줄 수 있다. 정규화와 척도 대칭 때문에 매개변수 노름은 함수적 변화를 나타내는 좋은 지표가 아닐 수 있다. 이것이 학습률이 코드베이스 사이나 표준 매개변수화와 μP 같은 척도 인식 매개변수화 사이에서 자동으로 옮겨지지 않는 이유 중 하나다.⁸

vₜ₊₁ = β vₜ + gₜ
θₜ₊₁ = θₜ − ηₜ vₜ₊₁

모멘텀을 쓰는 SGD에서 흔한 규약은 위와 같다. 여기서 gₜ는 확률적 경사이고 β는 모멘텀 계수다. η가 상수일 때는 η를 속도 재귀식 안에 넣고 속도를 직접 빼는 다른 규약이 대수적으로 동등하지만, 저장되는 속도의 척도가 다르다. η가 시간에 따라 변하면, 저장된 상태를 다시 조정하지 않는 한 이전 경사에 주는 가중치도 달라진다. 재현 가능한 보고에서는 'η를 쓰는 SGD'라고만 적지 말고 옵티마이저 구현과 규약을 밝혀야 한다.

3. 이론이 말하는 것

학습률에 관한 수렴 보장은 수학적 가정에 조건부다. F의 경사가 L-립시츠 연속이면 하강 보조정리(descent lemma)는 다음을 준다.

F(θ − η∇F(θ)) ≤ F(θ) − η(1 − Lη/2)‖∇F(θ)‖₂²

따라서 정확한 경사 하강법에서 양의 η가 2/L보다 작으면, 경사가 0이 아닐 때마다 한 걸음에 목적 함수가 줄어든다. 흔한 수렴 진술은 더 단순한 여유를 위해 η ≤ 1/L을 쓴다. 볼록 이차 목적 함수에서 안정적인 보폭의 상한은 헤시안의 최대 고유값이 정한다. 이런 결과는 변하는 비볼록 신경망 목적 함수에 대해 직접 측정 가능한 보편 상한을 주지 않는다.²

확률적 경사에는 표본 잡음이 더해진다. 그래서 수렴하는 방법이라도 모든 단계에서 표본 손실을 줄이지는 않을 수 있다. 고전적 확률 근사 결과는 흔히 다음 조건을 만족하는 감소하는 학습률을 쓰며, 목적 함수와 경사 잡음에 대한 가정이 함께 붙는다.

∑_{t=1}^{∞} ηₜ = ∞  그리고  ∑_{t=1}^{∞} ηₜ² < ∞

유한한 계산 예산으로 하는 기계 학습은 점근적 수렴만이 아니라 지정된 계산량 뒤의 검증 성능을 목표로 하므로, 다른 스케줄을 자주 쓴다.²

보장의 대상도 중요하다. 볼록 분석은 목적 함수의 최적값과의 차이를 제한할 수 있고, 강볼록 분석은 추가 조건에서 선형 수렴률을 보일 수 있다. 비볼록 분석은 흔히 전역 최솟값 도달이 아니라 경사 노름을 제한한다. 모델이 쓸 만한 검증 점수에 도달했다는 실험적 진술은 이런 수학적 결론 각각과 다르다.

3.1. 단계 선택 개념 비교

'적응형 학습률'이라는 말 아래 서로 다른 문제를 푸는 여러 기법이 묶이기도 한다.

• 스케줄은 단계 수나 검증 기록 같은 규칙에 따라 스칼라 학습률을 바꾼다.
• 전처리기(preconditioner)는 좌표나 매개변수 묶음의 상대적 척도를 바꾼다. AdaGrad와 Adam은 스칼라 기본 학습률과 대각 전처리를 결합한다.
• 직선 탐색(line search)은 목적 함수 기반 조건에 따라 후보 보폭을 검사한다. 고전적 직선 탐색은 흔히 충분히 신뢰할 수 있는 목적 함수 값과 방향을 얻을 수 있다고 가정하며, 확률적 변형에는 추가 설계와 가정이 필요하다.
• 신뢰 영역 방법은 국소 보폭의 모델을 제약하며, 스칼라 배수 하나를 직접 정하지는 않는다.
• 하이퍼파라미터 최적화는 학습률이나 스케줄을 바깥 루프의 선택으로 보고 학습 실행을 통해 평가한다. 하이퍼그래디언트 방법은 갱신을 통해, 또는 여러 갱신에 걸쳐 미분한다.^3,4,9,10

이런 구분은 어떤 알고리즘을 '적응형'이나 '학습률이 필요 없는(learning-rate-free)' 방법이라고 홍보할 때 중요하다. 그런 표현은 손으로 고른 스케줄 하나를 없애면서도 기본 척도나 상한, 허용오차, 다른 보폭 제어 매개변수는 그대로 둔다는 뜻일 수 있다.

3.2. 너무 크거나 작은 학습률

특정 구성에 비해 학습률이 너무 크면 지속적인 진동, 매개변수 폭발, 유한하지 않은 연산 값, 발산이 생길 수 있다. 더 작은 학습률은 보통 개별 갱신을 작게 만들지만, 주어진 학습 예산을 쓰고도 진전이 거의 없을 수 있다. 이런 증상은 확정 증거가 아니라 진단 단서다. 수치 오버플로, 손상된 데이터, 잘못된 손실, 맞지 않는 정밀도 설정도 지나친 학습률과 비슷하게 보일 수 있다.

학습률이 작으면 본질적으로 지역 최솟값에 갇힌다고 말하는 것도 부정확하다. 최적화 거동은 기하 구조, 확률적 잡음, 모멘텀, 학습 기간에 달려 있다. 학습률은 방법이 도달하는 해에 영향을 주고 암묵적 편향처럼 작용할 수 있지만, '큰 보폭 대 지역 최솟값'이라는 단순한 이야기는 일반 정리가 아니다.

심층망 학습은 고정된 이차 근사가 암시하는 단조로운 그림에서 벗어날 수 있다. Cohen 등은 전체 배치 신경망 실험에서 가장 큰 헤시안 고유값이 흔히 약 2/η까지 올라간다고 관찰했다. 이때 학습 손실은 짧은 구간에서는 진동하고 긴 구간에서는 감소했으며, 연구진은 이 상태를 '안정성의 가장자리(edge of stability)'라고 불렀다. 이 결과는 연구한 구조와 데이터셋에서 전체 배치 경사 하강법에 대한 경험적 결과다. 모든 미니배치 또는 적응형 옵티마이저 실행이 같은 문턱에서 작동한다는 것을 입증하지는 않는다.¹¹

4. 현대 실무의 발전

학습률 개념은 딥러닝보다 먼저 있었지만, 현대 학습은 서로 다른 최적화 맥락에서 나온 아이디어를 결합한다.

이 연표는 옵티마이저나 스케줄의 순위가 아니다. 나중에 나온 방법이 앞선 방법을 자동으로 대체하지는 않으며, 한 워크로드의 결과는 튜닝 예산에 따라 달라질 수 있다.

5. 학습률 스케줄

스케줄은 단일 숫자가 아니라 η₀, η₁, …의 수열을 정한다. 계획된 학습 기간 T가 필요할 수도 있고, 지표에 반응하거나 최적화 신호로부터 적응할 수도 있다.

5.1. 시간 기준

스케줄의 시간 좌표는 명시해야 한다. 에포크 기준 스케줄은 학습 데이터를 한 바퀴 돈 뒤 진행한다. 스텝 기준 스케줄은 옵티마이저 갱신 한 번마다 진행한다. 토큰 기준 스케줄은 처리한 시퀀스 토큰 수에 따라 진행한다. 배치 크기, 경사 누적, 데이터셋 샘플링, 시퀀스 길이가 바뀌면 이 기준들은 서로 바꿔 쓸 수 없다.

예를 들어 에포크 기준 스케줄을 고정한 채 전역 배치 크기를 두 배로 하면 에포크당 옵티마이저 갱신 횟수가 절반이 된다. 반대로 스텝 기준 스케줄을 고정하면 같은 스케줄 경계에 도달하기 전에 처리하는 예제 수가 두 배가 된다. 배치 크기를 바꾸면서 두 시간 기준 중 하나만 조용히 유지하는 비교는 학습률을 학습 노출량 및 갱신 횟수와 뒤섞는다.²⁰

5.2. 코사인 재시작과 순환 정책

길이 T인 코사인 구간에서 흔한 형태는 다음과 같다.

ηₜ = η_min + ½(η_max − η_min)(1 + cos(πt/T))

SGDR은 이런 구간을 반복하고 선택적으로 길이를 늘리는 방식을 제안했다. '웜 재시작'은 학습률을 다시 설정하는 것이며, 모델 매개변수를 재설정하는 것이 아니다. 재시작 없이 단조 감소하는 코사인 감쇠는 관련되지만 다른 스케줄이다.⁵

Smith의 순환 학습률 연구는 η를 하한과 상한 사이에서 바꾸고, 손실을 관찰하면서 학습률을 올리는 짧은 범위 시험(range test)을 제안했다. 이후 Smith와 Topin은 선별된 이미지 분류 실험에서 매우 큰 최고 학습률을 쓰는 원사이클 정책으로 '초수렴(super-convergence)'을 보고했다. 이 논문들은 실증적 방법이며, 하나의 주기, 특정 최고 배수, 특정 주기 비율이 다른 구조나 데이터에 최적이라는 보장을 주지 않는다.^12,19

5.3. 기간 의존 감쇠와 스케줄 프리 방법

많은 감쇠가 계획된 정지 단계 T를 쓴다. T를 바꾸면 정규화된 모든 위치 t/T에서 학습률이 달라지므로, 학습을 늘리면 같아 보이던 스케줄이 다른 실험이 될 수 있다. Defazio 등은 미리 정한 정지 시간 없이 모멘텀과 반복 평균을 결합한 스케줄 프리 SGD와 AdamW 변형을 개발했고, 자신들의 벤치마크 묶음에서 경쟁력 있는 결과를 보고했다. 이 접근은 스케줄 의존성 하나를 제거하지만, 최적화를 하이퍼파라미터가 없는 과정으로 만들지는 않는다.¹⁷

Schaipp 등은 일정 구간 뒤 선형 쿨다운을 붙이는 방식을 연구했다. 비평활 볼록 설정에서 관련 상한을 도출했고, 1억 2,400만 개와 2억 1,000만 개 매개변수의 Llama형 모델에서 실험과 스케줄 연장·전이 시험을 보고했다. 이 결과는 연구한 규모와 설정에 대한 증거이며, 모든 대규모 언어 모델 사전 학습에 대한 일반 법칙이 아니다.

6. 워밍업

학습률 워밍업(learning-rate warmup)은 초기 학습 구간 동안 η를 더 작은 초기값에서 목표값 또는 최댓값까지 올린다. 워밍업은 옵티마이저와 별개가 아니라 스케줄의 한 구성 요소다.

두 영향력 있는 사례는 맥락이 달랐다. 원래 트랜스포머는 다음 식에 비례하는 학습률을 썼다.

d_model^(−1/2) · min(step^(−1/2), step · warmup_steps^(−3/2))

보고된 실험에서는 워밍업 스텝을 4,000으로 두었다.⁶

Goyal 등은 ImageNet에서 ResNet-50을 학습할 때 선형 확장 휴리스틱을 썼다. 미니배치를 256에서 8,192로 키우면서 학습률도 0.1에서 3.2로 키웠다. 확장된 학습률을 바로 적용하면 불안정했으므로, 처음 다섯 에포크 동안 점진적으로 올렸다.¹³

이 예시들은 워밍업이 항상 필요하거나 고정 비율이 일반적으로 맞다는 것을 보여 주지 않는다. SGD와 Adam에 대한 체계적 실험에서 Kalra와 Barkeshli는 워밍업 효과의 상당 부분이 더 좋은 조건의 영역으로 학습을 옮겨, 더 큰 목표 학습률을 허용하는 데서 온다고 봤다. 그들의 결과는 초기화와 매개변수화에 따라 달라졌고, 제안한 변경은 워밍업을 줄이거나 일부 시험 사례에서는 없앴다.¹⁶

워밍업은 초기값, 지속 기간, 곡선, 목표 학습률, 시간 단위, 워밍업 이후의 스케줄과 함께 보고해야 한다. '워밍업 10 에포크'와 '워밍업 10 스텝'은 전혀 다른 절차를 가리킨다.

7. 적응형 학습률

AdaGrad나 Adam 같은 적응형 옵티마이저는 과거 경사로 좌표별 척도를 만들지만, 스칼라 기본 학습률은 그대로 유지한다. 이들은 이질적인 경사 크기에 대한 민감도를 일부 줄이지만, 보편적으로 최적인 학습률을 정해 주지는 않는다.

AdaGrad는 좌표마다 경사 제곱을 누적하고, 이후 갱신을 그 누적값의 제곱근으로 나눈다. Duchi, Hazan, Singer는 후회 한계와 수렴 성질을 도출했고, 희소 경사가 있는 설정을 강조했다. 자주 갱신되는 좌표는 드물게 갱신되는 좌표와 다르게 줄어든다. 누적기는 과거를 잊지 않으므로 유효 학습률은 계속 줄어들 수 있으며, 그것이 도움이 되는지는 문제에 따라 다르다.³

Adam은 경사와 경사 제곱의 지수 이동 평균을 편향 보정과 함께 결합한다. 원 논문의 수렴 분석은 나중에 불충분한 것으로 드러났다. Reddi, Kale, Kumar는 Adam이 수렴하지 않는 단순한 볼록 온라인 문제를 구성하고, 2차 모멘트 추정의 장기 최댓값을 유지하는 AMSGrad를 제안했다. 이 결과는 모든 Adam 실행이 발산한다는 뜻이 아니다. 옵티마이저 이름과 기본 학습률만으로는 수렴 보장이 되지 않는 이유를 보여 준다.^4,14

일반 SGD에서는 학습률 배율을 고려하면 L2 규제와 가중치 감쇠가 동등할 수 있다. Loshchilov와 Hutter는 이 동등성이 적응형 경사 방법에서는 성립하지 않음을 보이고, 가중치 감쇠를 손실 경사 갱신과 분리하는 AdamW를 제안했다. 그들의 실험에서 분리는 최적의 학습률과 가중치 감쇠 선택을 더 독립적으로 만들었다. '분리되었다(decoupled)'는 것이 두 하이퍼파라미터가 모든 모델에서 전혀 상호작용하지 않는다는 뜻은 아니다. 둘 다 학습 구성의 일부로 남는다.¹⁵

8. 배치 크기와의 관계

배치 크기를 바꾸면 경사 추정의 분산과 데이터 한 바퀴당 매개변수 갱신 횟수가 달라진다. 따라서 학습률, 배치 크기, 모멘텀, 학습 기간을 함께 고려해야 한다.

대배치 ResNet-50 연구의 선형 확장 규칙(linear scaling rule)은 배치 크기를 k배 하면 η도 k배 한다. 이 근사는 하나의 큰 배치 갱신을, 매개변수와 경사가 거의 변하지 않는 동안의 작은 갱신 k개와 비슷하다고 본다. 이는 지정된 모델, 데이터셋, 옵티마이저, 범위에 대해 워밍업과 짝을 이룬 경험적 규칙이었다. 임의의 배치 크기나 적응형 옵티마이저에 그대로 적용되는 정리는 아니다.¹³

Shallue 등은 35개 워크로드에 걸쳐 168,160개 모델을 학습한 대규모 경험 연구에서, 배치 크기와 목표 오차에 도달하기까지의 스텝 수 관계가 극단적으로 크게 달라짐을 확인했다. 또한 대배치 일반화에 대한 의견 차이는 상당 부분 서로 다른 튜닝 절차와 계산 예산으로 설명될 수 있다고 밝혔다.²⁰

McCandlish 등은 문제의 유용하거나 '임계적인' 배치 크기와 관련된 경사 잡음 척도(gradient-noise scale)를 이용해, 병렬화의 체감 수익을 모델링했다. 이 연구들은 단일한 보편 선형 또는 제곱근 스케일링 처방에 반하는 근거다.²¹

8.1. 학습률, 학습 예산, 검증 성능

학습 손실, 검증 성능, 벽시계 시간, 처리한 예제 수, 옵티마이저 스텝 수는 서로 다른 목표다. 처음 천 번의 갱신에서 학습 손실을 가장 빨리 줄이는 학습률이 고정된 에포크의 최고 검증 지표나 고정된 계산 예산의 최선 결과는 아닐 수 있다. 감쇠 이후에는 학습률의 순위가 바뀌기도 한다. 그래서 학습률 연구는 정지 규칙과 선택 지표를 명확히 정해야 한다.²⁰

학습률은 암묵적 규제에 영향을 줄 수 있다. 그러나 '큰 학습률은 항상 더 평평한 최솟값을 찾는다'거나 '감쇠가 과적합을 막는다'는 식의 폭넓은 주장은 일반 결과가 아니다. 곡률 측정은 매개변수화에 따라 달라지고, 검증 거동은 옵티마이저, 배치 잡음, 명시적 규제, 데이터 증강, 체크포인트 선택의 영향을 받는다. 일반화가 연구 질문이라면 후보들은 공유된 미튜닝 학습률에서 비교하기보다, 비슷한 학습 목표와 예산에 맞춰 튜닝해야 한다.

9. 학습률 선택과 튜닝

학습률 선택은 실험 설계 문제다. 방어 가능한 절차는 옵티마이저와 스케줄을 먼저 정하고, 학습 실행으로 탐색하며, 검증 집합과 목적 함수로 선택하고, 테스트 집합은 튜닝에 넣지 않는다.

흔한 접근은 다음과 같다.

• 로그 간격 시험. 학습률은 곱셈적 양이므로, 로그 탐색이 덧셈 격자보다 자릿수 단위를 더 합리적으로 다룬다. Bergstra와 요슈아 벤지오는 여러 차원 가운데 일부만 중요한 경우, 무작위 탐색이 상당히 효율적이고 재현 가능한 기준선임을 실험으로 확인했다.
• 범위 시험. 짧은 실행 동안 η를 올리며 최적화가 좋아지는 지점과 불안정해지는 지점을 관찰한다. Smith는 이를 순환 스케줄의 범위를 정하는 방법으로 소개했다. 추가 학습 실행과 계산이 필요하며, 선택한 값이 전체 스케줄에 최적임을 보장하지는 않는다는 점에서 휴리스틱이다.
• 다중 충실도 튜닝. 많은 후보에 작은 예산을 배정하고, 가장 유망한 구성에 목표 예산을 남긴다. Hyperband는 반복 수, 데이터 샘플, 특징 같은 자원과 적응형 배분, 조기 중단을 함께 쓰는 이 접근을 형식화했다. 낮은 충실도의 성능은 후보 순위를 틀리게 할 수 있으므로, 최종 후보는 목표 예산에서 다시 확인해야 한다.
• 온라인 적응. 하이퍼그래디언트 하강법은 갱신을 학습률에 대해 미분해, 학습 중 학습률을 조정한다. 확률적 Armijo 직선 탐색도 보간과 다른 명시적 가정 아래 연구되었다. 이런 방법들은 수동 스케줄을 자체 가정, 상태, 또는 하이퍼파라미터와 맞바꾼다.^{9,10,12,22,23}

검증 비교에서는 데이터 순서 정책, 배치 크기, 옵티마이저, 모델 초기화 정책, 갱신 수 또는 처리한 예제 수, 정지 규칙을 고정해야 한다. 실행 간 변동과 비슷한 크기의 차이가 나타날 때는 여러 시드가 유용하다.

9.1. 학습 곡선 읽기

학습 곡선은 통제된 실험을 이끌 수 있지만, 한 곡선이 원인 하나를 거의 특정하지 못한다.

유용한 진단은 학습률 민감도와 구현 실패를 구분할 수 있을 만큼 넓은 곱셈 범위에서, 한 번에 한 요인만 바꾸는 것이다.

9.2. 재현 가능한 기록

재현 가능한 학습률 보고에는 다음 내용을 포함해야 한다.

• 해당하는 경우 초기, 최고, 최소, 최종 학습률
• 스케줄의 완전한 수식과, 시간이 갱신 수, 토큰, 예제 수, 에포크 중 무엇을 뜻하는지
• 워밍업과 쿨다운의 길이 및 곡선
• 옵티마이저 구현, 모멘텀 또는 β 값, 수치 ε, 가중치 감쇠
• 전역 배치 크기, 경사 누적, 분산 작업자 수, 배치 크기 변경 여부
• 클리핑, 동결, 층별 배율, 매개변수 그룹
• 스케줄이 체크포인트에서 재개될 때 재시작하는지 또는 바뀌는지
• 검증 지표, 튜닝 예산, 시드 정책, 선택된 체크포인트

이 맥락이 없으면 0.0003 같은 인용된 값은 재현 가능한 처방이 아니다.

10. 층과 모델 규모에 걸친 전이

매개변수 그룹마다 다른 학습률을 쓸 수 있다. Howard와 Ruder의 ULMFiT 방법은 차별적 미세 조정(discriminative fine-tuning)을 썼다. 즉 낮은 언어 모델 층에 더 낮은 학습률을 주고, 기울어진 삼각 스케줄(slanted triangular schedule)과 함께 사용했다. 이 결과는 보고된 자연어 처리 전이 실험에서 그 방법을 뒷받침하지만, 모든 미세 조정 과제에서 초기 층이 항상 고정 비율을 써야 한다는 것을 확립하지는 않는다.²⁴

모델의 너비와 매개변수화도 유용한 갱신의 척도를 바꿀 수 있다. Yang 등의 최대 갱신 매개변수화(maximal-update parameterization, μP)는 너비가 바뀌어도 여러 튜닝된 하이퍼파라미터가 안정되도록 설계되었다. 그들의 μTransfer 실험은 더 작은 대리 네트워크에서 찾은 거의 최적인 설정을, 더 넓은 Transformer와 ResNet 목표 모델로 옮겼다.⁸

이 주장은 μP를 구현한다는 조건과 연구한 규모 축에 조건부다. 임의의 아키텍처, 깊이, 데이터셋, 표준 매개변수화 사이에서 학습률을 그대로 옮겨도 된다는 근거는 아니다.

11. 해석

학습률은 모델이 얼마나 빨리 학습하는지를 나타내는 단독 척도라기보다, 갱신 규칙의 한 구성 요소로 이해하는 것이 가장 정확하다. 고전 분석은 명시된 가정 아래에서 학습률을 곡률과 경사 잡음에 연결한다. 현대 실무는 스케줄, 워밍업, 적응형 전처리기, 척도 의존 매개변수화를 추가한다. 경험적 방법은 탐색 범위를 좁힐 수 있지만, 모든 수치 권고는 그것이 얻어진 모델, 데이터, 옵티마이저, 구현, 계산 예산을 그대로 물려받는다.