미세 조정

쉽게 말하면, 미세 조정은 이미 학습된 모델을 가져다 특정 목적에 맞는 데이터로 추가 학습시켜 그 목적에 맞게 고치는 일이다. 목표 문제를 처음부터 새로 학습하지 않고 앞서 얻은 지식을 다시 쓴다. 모델 전체를 고치기도 하고 일부만 고치기도 한다.^[1]

1. 개요

미세 조정(fine-tuning)은 사전 학습된 머신러닝 모델의 매개변수 일부 또는 전부를 목표 과제, 분야, 행동, 집단에 맞게 고른 데이터로 계속 최적화하며 모델을 적응시키는 과정이다. 전이 학습의 한 형태로, 원천 학습에서 얻은 지식을 재사용하므로 목표 문제를 무작위 초기화에서 완전히 새로 학습하지 않는다. 목표 데이터에는 라벨, 시연, 선호, 그 밖의 학습 신호가 들어 있을 수 있다. 따라서 미세 조정의 정확한 의미는 어떤 매개변수를 학습 가능하게 두는지, 어떤 목적 함수를 쓰는지에 따라 달라진다.^[2][3][4]

오늘날 이 용어는 서로 다른 여러 절차를 가리킨다. 전체 미세 조정은 모든 매개변수를 갱신하고, 부분 미세 조정은 선택한 층을 갱신한다. 매개변수 효율적 미세 조정은 사전 학습된 가중치의 대부분 또는 전부를 고정하고 비교적 적은 수의 새 매개변수나 선택한 매개변수를 학습한다. 지도 미세 조정은 목표 출력을 기준으로 최적화하고, 선호 기반 사후 학습은 비교나 보상을 써서 행동을 바꾼다. 이 절차들은 사전 학습된 체크포인트에서 출발한다는 점이 같지만 데이터 요구, 자원 비용, 실패 양상은 서로 다르다.^[5][6][7][3]

미세 조정은 컴퓨터 비전, 자연어 처리, 음성, 추천, 멀티모달 시스템, 생성 모델에서 쓰인다. 목표 응용에 필요한 라벨 데이터와 학습 시간을 줄일 수 있지만 개선을 보장하지는 않는다. 결과는 원천 데이터와 목표 데이터의 관계, 목표 예시의 품질, 최적화 설정, 평가 설계에 달려 있다. 모델이 과적합하거나, 유용한 원천 능력을 잃거나, 안전하지 않은 행동을 얻거나, 무작위 시드에 따라 불안정해질 수 있다.^{[2][10][11][12][13]}

2. 범위와 용어

미세 조정은 앞선 학습 단계에서 배운 매개변수에서 출발한다. 앞선 모델은 보통 사전 학습 모델 또는 기반 모델(base model)이라 부른다. 새 최적화 단계는 한 라벨 집합의 분류기를 학습하는 것처럼 좁을 수도 있고, 범용 언어 모델이 지시를 따르도록 학습시키는 것처럼 넓을 수도 있다. 정의하는 특징은 목표 목적에 따른 매개변수 갱신이다. 프롬프트에 예시를 넣거나, 추론 실행 시점에 문서를 검색하거나, 디코딩 설정을 바꾸는 것은 학습된 매개변수를 갱신하지 않으므로 모델을 미세 조정하는 것이 아니다.^[14][15]

전이 학습 용어에서는 입력 공간과 데이터 분포를 포함하는 분야(domain)와 출력 공간과 예측 함수를 포함하는 과제(task)를 구분한다. 원천과 목표는 분야, 과제, 또는 둘 모두에서 다를 수 있다. 원천 표현에 목표에 유용한 특징이 들어 있을 때 미세 조정이 도움이 될 가능성이 가장 크다. 분야 차이가 커도 도움이 될 수 있지만, 전이는 사전 학습이 자동으로 갖는 성질이 아니라 경험적으로 확인할 문제다.^[2][10]

이웃한 용어는 부정확하게 쓰이는 경우가 많다.^[1]

• 사전 학습(pretraining): 보통 대규모 말뭉치와 자기지도 목적 함수로 폭넓게 재사용할 수 있는 표현을 학습한다.
• 계속 사전 학습(continued pretraining): 추가 비라벨 데이터에 사전 학습 방식의 목적 함수를 적용한다. 분야 적응 사전 학습은 목표 분야의 데이터를, 과제 적응 사전 학습은 목표 과제와 관련된 비라벨 데이터를 쓴다.^[16]
• 지도 미세 조정(supervised fine-tuning): 입출력 쌍을 지도 목적 함수로 학습한다. 생성형 언어 모델에서는 이 쌍이 흔히 지시와 원하는 응답이다.
• 지시 튜닝(instruction tuning): 자연어 지시로 표현한 여러 과제에 걸친 지도 미세 조정이다. 튜닝 때와 똑같은 형태로는 보지 못한 과제를 포함해, 지시에 응답하는 능력을 높이려는 것이다.^[9][17]
• 선호 최적화(preference optimization): 비교, 평점, 보상 신호를 써서 어떤 출력을 다른 출력보다 선호하게 만든다. 더 넓은 사후 학습 방법군에 속한다. 지도 미세 조정 뒤에 올 수 있지만 지도 미세 조정과 서로 바꿔 쓸 수 없다.^[3][4]
• 특징 추출(feature extraction): 사전 학습된 네트워크를 고정하고 그 활성값 위에서 별도의 예측기를 학습한다. 전이 학습이지만 사전 학습된 매개변수 자체는 미세 조정되지 않는다.^[18]
• 선형 프로빙(linear probing): 학습하는 예측기가 선형인 제한된 형태의 특징 추출이다. 표현에 이미 들어 있는 정보를 진단하는 데도 쓰인다.
• 프롬프팅(prompting): 경사 기반 매개변수 갱신 없이 입력 문맥에 지시나 예시를 제공한다. GPT-3 연구에서 다룬 퓨샷 절차를 포함한 인컨텍스트 학습은 따라서 미세 조정과 다르다.^[14]
• 검색 증강 생성(retrieval-augmented generation): 추론 실행 시점에 외부 색인이나 말뭉치의 정보를 제공한다. 반드시 생성기의 가중치를 바꾸는 것이 아니라 생성기가 쓸 수 있는 근거를 바꾼다.^[15][1]

이 경계는 말의 문제가 아니라 작동 방식의 문제다. 프롬프트 튜닝한 모델은 프롬프트 벡터를 학습했으므로 기반 네트워크가 고정되어 있어도 미세 조정된 산출물이다. 손으로 쓴 프롬프트만 쓰는 모델은 그렇지 않다. 한 시스템이 분야 적응 사전 학습, 지도 미세 조정, 선호 최적화, 검색, 추론 실행 시점 프롬프팅을 조합할 수도 있다.^[1]

3. 연혁

미세 조정은 학습된 표현이 손으로 설계한 특징 파이프라인을 대체하면서 두드러졌다. 비전에서는 대규모 라벨 데이터셋과 심층 합성곱 신경망이 중간 특징을 재사용할 수 있는 체크포인트를 낳았다. AlexNet의 2012년 ImageNet 결과는 대규모 지도 합성곱 학습을 보여 주었다.^[19] 이후 Yosinski와 동료들은 신경망 특징이 원천 과제와 목표 과제 사이에서 어떻게 전이되는지 직접 실험했다. 낮은 층은 대체로 재사용성이 높고 뒤쪽 층은 더 특화되어 있으며, 전이된 층을 미세 조정한 뒤에도 전이된 초기화가 목표 성능을 높일 수 있다는 것이 결과였다.^[10]

이 특징 계층 구조는 두 가지 실용 전략을 시사했다. 백본을 고정하고 새 과제별 헤드를 학습하는 방법과, 체크포인트로 초기화한 뒤 일부 또는 모든 층을 계속 학습하는 방법이다. 둘 다 비전 라이브러리의 표준 패턴으로 남아 있다. PyTorch 공식 전이 학습 튜토리얼은 이를 별개의 시나리오로 제시한다. 전체 네트워크를 미세 조정하는 것과 네트워크를 고정된 특징 추출기로 쓰는 것이다.^[18]

언어 처리의 초기 신경 전이는 사전 학습된 단어 임베딩이나 문맥 표현을 특징으로 쓰는 경우가 많았다. ELMo는 양방향 언어 모델로 문맥 단어 표현을 만들어 과제별 구조에 더했고, 지금 흔한 트랜스포머 미세 조정 방식을 정의하지는 않은 채 보고된 여섯 개 NLP 과제에서 결과를 개선했다.^[20] 다른 길은 사전 학습된 언어 모델 자체를 적응시키는 것이었다. ULMFiT은 차별적 학습률, 기울어진 삼각형 스케줄, 점진적 해동(gradual unfreezing)을 갖춘 일반 언어 모델 미세 조정 절차를 도입했고, 논문이 다룬 텍스트 분류 벤치마크에서 오류가 크게 줄었다고 보고했다.^[8]

2018년 GPT 연구는 생성적 언어 모델 사전 학습 뒤 개별 과제에 대한 판별적 미세 조정을 썼다.^[21] 이어 BERT는 마스크 언어와 문장 수준 목적 함수로 사전 학습한 양방향 트랜스포머가 작은 출력층을 추가하고 과제별 구조 변경을 최소화한 채 미세 조정하는 것만으로 여러 언어 이해 과제에 적응할 수 있음을 보였다.^[5] T5는 이후 다양한 언어 과제를 공통 텍스트-텍스트 형식으로 표현해 사전 학습과 미세 조정의 인터페이스를 더 균일하게 만들었다.^[22]

기반 모델이 커지면서 과제마다 전체 매개변수 사본을 따로 저장하고 학습하는 비용이 커졌다. 어댑터 모듈은 초기의 트랜스포머 전용 해법으로, 원래 네트워크를 고정한 채 작은 병목 모듈을 삽입한다. Houlsby 연구진의 실험에서 어댑터는 과제당 학습 가능 매개변수를 3.6퍼센트 추가했고 GLUE에서 전체 미세 조정에 가까운 성능을 냈다.^[6] 이후의 방법들은 연속 프리픽스, 소프트 프롬프트, 선택한 편향 매개변수, 곱셈 활성값 벡터, 저순위 가중치 갱신을 학습했다.^{[23][24][25][26][7]}

범용 대규모 언어 모델이 커지면서 미세 조정의 목표도 넓어졌다. 적응은 더 이상 단일 분류기나 추출 과제에 한정되지 않았다. 지시 튜닝은 폭넓은 과제 수행을, 인간 피드백 파이프라인은 유용성과 그 밖의 선호를 겨냥했다. FLAN은 1,370억 매개변수 모델을 60개 넘는 과제의 지시로 미세 조정했고, 보류한 과제에서 제로샷 성능이 높아졌다고 보고했다.^[9] 이후 연구는 지시 튜닝을 훨씬 더 많은 과제와 모델 크기로 확장했다.^[17] InstructGPT는 지도 시연, 학습된 보상 모델, 인간 피드백 강화 학습을 단계적 정렬 파이프라인으로 결합했다.^[3]

4. 작동 원리

사전 학습된 모델의 매개변수를 theta_0, 목표 데이터셋을 D = {(x_i, y_i)}라 하자. 지도 미세 조정에서 학습은 보통 다음 경험적 손실을 최소화하는 매개변수를 찾는다.^[1]

theta* = argmin over theta in Theta_T:
         (1/n) sum_i L(f_theta(x_i), y_i) + lambda R(theta, theta_0)

여기서 Theta_T는 어떤 매개변수가 바뀔 수 있는지 정한다. 전체 미세 조정에서는 모든 모델 매개변수를, 부분 미세 조정에서는 일부를, 많은 매개변수 효율적 방법에서는 추가한 매개변수만 포함한다. 선택 사항인 규제 항 R은 사전 학습 상태에서 크게 벗어나는 것을 억제하거나 해를 달리 제약할 수 있다. 목적 함수는 생성용 토큰 수준 교차 엔트로피, 분류기용 분류 손실, 표현 학습용 대조 손실, 선호에서 도출한 목적 함수일 수 있다.^[1]

학습은 역전파와 경사 기반 최적화 알고리즘으로 진행된다. 각 단계에서 배치를 모델에 통과시키고, 목적 함수를 계산하고, 학습 가능한 매개변수의 기울기를 구하고, 최적화 알고리즘이 갱신을 적용한다. 고정된 매개변수는 순전파 계산에는 참여하지만 최적화 알고리즘의 갱신을 받지 않는다. 이 구분은 메모리에서 중요하다. 가중치를 고정하면 그 최적화 상태와 가중치 기울기가 사라지지만, 네트워크 앞쪽이나 주변의 학습 가능한 구성요소까지 기울기를 전달하려면 중간 활성값이 여전히 필요할 수 있다.^[1]

초기 체크포인트는 최적화 경로와 도달할 수 있는 결과에 모두 영향을 준다. 미세 조정은 목표 사실을 담은 분리 가능한 데이터베이스를 더하는 것이 아니라, 학습 가능한 매개변수가 나타내는 함수를 바꾼다. 기반 체크포인트, 예시 순서, 무작위 시드, 최적화 알고리즘, 학습률 스케줄이 바뀌면 같은 목표 예시로도 다른 모델이 나올 수 있다. 트랜스포머 미세 조정에서는 특히 데이터가 적은 환경에서 시드에 따른 불안정성이 보고되었다.^[12][27]

적절한 학습률은 같은 구조를 처음부터 학습할 때보다 보통 낮지만, 모든 모델과 방법에 통하는 비율은 없다. 전체 미세 조정, 어댑터, 프롬프트 매개변수, 저순위 행렬은 서로 다른 스케줄이 필요할 수 있다. 일부 방법은 매개변수 그룹마다 일부러 다른 학습률을 쓴다. 예를 들어 LoRA+는 두 저순위 인자의 학습률을 구분하는 방법을 도출했고, 논문의 실험에서 더 빠른 수렴을 보고했다.^[28]

5. 주요 방식

5.1. 전체 미세 조정

전체 미세 조정은 모든 매개변수를 학습 가능하게 둔다. 여기서 설명하는 방식 가운데 직접 갱신할 수 있는 폭이 가장 넓어, 목표 분포나 목적이 사전 학습과 의미 있게 다를 때 유용할 수 있다. 모든 모델 매개변수의 기울기를 계산하고, 최적화 알고리즘이 상태를 가지면 모든 매개변수의 상태를 유지한다. 배포에서는 보통 별도의 전체 체크포인트를 저장하지만 다른 산출물 인코딩도 가능하다. 저장과 학습에 필요한 양은 모델 크기, 수치 정밀도, 최적화 알고리즘, 배치 구성, 시퀀스나 이미지 크기, 분산 전략, 활성값 저장 기법, 저장 산출물 형식에 달려 있다. 따라서 특정 크기의 모델에 항상 특정 GPU 수, 메모리 용량, 체크포인트 크기가 필요하다는 고정된 주장은 오해를 부른다.^[1]

전체 미세 조정이 자동으로 가장 정확한 선택은 아니다. 유연성이 크면 노이즈, 가짜 상관관계, 작은 검증 세트에 맞춰질 위험이 커지고, 목표 데이터에 나타나지 않는 능력까지 바뀔 수 있다. 매개변수 효율적 방법과 공정하게 비교하려면 기반 모델, 데이터, 최적화 예산, 모델 선택 절차, 평가 모음을 통제해야 한다. LoRA와 전체 미세 조정을 비교한 연구는 일부 환경에서 상충 관계를 발견했다. 전체 미세 조정은 새 목표 분포를 더 많이 학습했고, LoRA는 그 분포 밖의 성능을 더 많이 유지했다.^[11] 이는 연구한 모델과 과제에 대한 증거이지 보편적인 순위가 아니다.^[1]

전체 미세 조정은 목표 목적이 폭넓은 변화를 요구하고, 대표성 있는 데이터가 충분하며, 배포 환경이 별도의 전체 체크포인트를 감당할 수 있을 때 가장 타당하다. 실험의 기준 조건으로도 유용하다. 전체 미세 조정을 시도하지 않았다는 이유만으로 더 작은 방법을 골랐다면 동등한 품질을 주장하지 말아야 한다.^[1]

5.2. 부분 미세 조정과 어댑터

부분 미세 조정은 기존 층 가운데 선택한 일부를 갱신한다. 흔한 변형은 과제 헤드, 마지막 블록, 정규화 매개변수만 학습하거나 네트워크의 점점 더 큰 부분을 학습하는 것이다. 선택은 구조와 전이 가능한 특징이 있으리라 예상되는 위치를 반영할 수 있다. 합성곱 비전 네트워크에서는 초기 시각 필터가 뒤쪽의 과제 특화 특징보다 더 쉽게 전이되는 경우가 많지만, 정확한 양상은 원천과 목표 과제에 달려 있다.^[10]

점진적 해동은 작은 학습 가능 부분에서 시작해 시간이 지나면서 층을 더 푼다. ULMFiT은 언어 모델 적응 중 파괴적인 갱신을 줄이려고 이 방법을 썼다.^[8] 층별 학습률은 낮은 층 또는 앞쪽 층에 더 작은 갱신을, 과제 특화 층에 더 큰 갱신을 주어 비슷한 목표를 추구한다. 이는 최적화 선택일 뿐 보장이 아니다. 자원이 허락하면 고정 백본 기준선과 전체 미세 조정 기준선에 견주어 평가해야 한다.^[1]

정규화 통계량이나 편향만 학습하는 것이 일부 영역에서는 놀랄 만큼 효과적일 수 있지만, 효과는 구조와 과제에 따라 다르다. BitFit은 편향 항만 갱신하고 여러 소형·중형 BERT 벤치마크에서 경쟁력 있는 결과를 보고했다.^[25] 이는 특정한 희소 갱신 방법이지 가중치가 대체로 불필요하다는 증거가 아니다.^[1]

어댑터는 고정된 네트워크에 작은 학습 가능 모듈을 삽입한다. 흔한 트랜스포머 어댑터는 은닉 상태를 더 낮은 차원의 병목으로 사영하고, 비선형성을 적용하고, 원래 차원으로 되돌려 사영한 뒤 그 결과를 잔차 흐름과 합친다. 기반 가중치는 바뀌지 않으므로 하나의 기반 체크포인트를 여러 과제별 어댑터 묶음이 공유할 수 있다.^[6]

어댑터는 과제별 저장을 기반 모델과 분리하고 다중 과제 서비스를 단순하게 만들 수 있다. 그러나 변환을 다른 연산에 합칠 수 없으면 순전파 계산이 늘어난다. 삽입 위치, 병목 너비, 초기화, 어떤 정규화·헤드 매개변수를 학습 가능하게 둘지가 모두 성능에 영향을 준다. 따라서 "어댑터"는 하나의 구성이 아니라 계열 이름이다.^[1]

5.3. 프리픽스·프롬프트 조정

프리픽스 튜닝은 언어 모델을 고정한 채 과제별 프리픽스처럼 작동하는 연속 벡터를 학습한다. 원래 연구에서 학습된 프리픽스는 어텐션을 통해 모든 트랜스포머 층에 영향을 주었고, 보고된 GPT-2와 BART 구성에서 모델 매개변수의 약 0.1퍼센트를 썼다.^[23] 이 비율은 그 구성에 한정된 값이며 일반적인 상수가 아니다.^[1]

프롬프트 튜닝은 모델 입력 앞에 붙는 소프트 프롬프트 임베딩을 학습한다. Lester 연구진은 실험에서 모델 규모가 커질수록 전체 모델 튜닝에 대한 경쟁력이 좋아진다는 것을 발견했다.^[24] 손으로 쓴 프롬프트와 달리 학습된 프롬프트는 경사로 최적화되므로 미세 조정된 매개변수 집합이다. 하나의 기반 모델을 많은 과제가 공유할 때는 저장 공간이 작다는 점이 매력적이지만, 프롬프트 길이는 모델의 입력 처리 용량 일부를 차지하고 초기화와 모델 규모에 민감할 수 있다.^[1]

IA3는 주요 가중치 행렬을 고정한 채 선택한 내부 활성값의 크기를 조정하는 벡터를 학습한다. 퓨샷 적응 방법인 T-Few의 일부로 도입되었으며 많은 저순위 구성보다도 매개변수가 더 희소하다.^[26] 다른 매개변수 효율적 방법과 마찬가지로, 학습 가능한 매개변수 수가 적다고 모든 자원이 그에 비례해 줄어드는 것은 아니다. 순전파 활성값, 입력 처리, 고정된 기반 모델은 여전히 연산과 메모리를 쓴다.^[1]

5.4. LoRA와 변형

LoRA는 저순위 적응(low-rank adaptation)이라는 뜻으로, 가중치 행렬의 학습된 갱신을 두 개의 더 작은 행렬로 나타낸다. 사전 학습된 행렬 W_0에 대해 흔한 형태는 다음과 같다.^[7]

W = W_0 + delta_W
delta_W = s B A

여기서 A와 B의 안쪽 차원 r은 W_0의 차원보다 작고, s는 배율 인자다. 학습 중에는 W_0이 고정되고 A와 B가 최적화된다. 원래 LoRA 논문은 과제별 가중치 변화가 저순위 부분공간에서 효과적으로 표현될 수 있다는 증거로 방법의 동기를 밝혔고, 연구한 트랜스포머 모델에서 학습 가능 매개변수와 최적화 알고리즘 메모리가 크게 줄었다고 보고했다.^[7]

순위(rank)는 용량 선택이지 모델 품질의 직접적인 척도가 아니다. 대상 모듈은 어텐션 사영, 피드포워드 사영, 또는 둘 모두처럼 저순위 갱신을 적용할 위치를 정한다. 배율, 드롭아웃, 초기화, 편향 처리, 추가로 학습할 모듈 집합도 중요하다. 재현 가능한 LoRA 결과는 LoRA를 썼다는 말만이 아니라 이런 선택까지 보고해야 한다. Hugging Face PEFT 문서는 흔한 구성 필드와, 학습된 LoRA 가중치를 추론 실행을 위해 기반 모델에 병합하는 옵션을 설명한다.^[29][1]

LoRA는 학습 가능한 상태를 줄이고 하나의 고정된 기반 체크포인트를 여러 어댑터에 재사용하게 해 준다. 하지만 기반 모델을 불러와 실행해야 하는 필요를 없애지는 않는다. 학습 메모리는 활성값, 시퀀스 길이, 배치 크기, 최적화 알고리즘 정밀도, 어텐션 구현, 체크포인팅에도 달려 있다. "LoRA는 메모리를 3분의 1만 쓴다"거나 "LoRA는 전체 정확도를 보존한다" 같은 주장은 실험이 특정되어야 성립한다.^[1]

QLoRA는 고정된 양자화 기반 모델과 학습 가능한 LoRA 어댑터를 결합한다. 기울기는 양자화된 계산을 거쳐 어댑터 매개변수로 전파되지만 양자화된 기반 가중치는 고정된다. QLoRA 논문은 4비트 NormalFloat 데이터 유형, 양자화 상수의 이중 양자화, 페이징 최적화 알고리즘을 도입했고, 저자들의 설정에서 단일 48 GB GPU로 650억 매개변수 모델을 미세 조정할 수 있음을 보였다.^[30] 이 시연은 논문의 구조, 시퀀스, 배치, 소프트웨어 선택에 좌우되므로 보편적인 하드웨어 요건으로 바꾸어 읽어서는 안 된다.^[1]

양자화에는 고유한 상충 관계가 있다. 기반 표현은 근사이고, 커널은 선택한 형식을 지원해야 하며, 어댑터 학습이 모든 양자화 오차를 고치지는 않는다. 평가는 양자화하지 않은 개발용 모델만이 아니라 배포되는 양자화 조합을 비교해야 한다. 기반 체크포인트, 양자화 구성, 어댑터 체크포인트, 토크나이저, 추론 실행 라이브러리 버전은 모두 배포 가능한 산출물의 일부다.^[1]

DoRA는 사전 학습된 가중치를 크기와 방향으로 분해한 뒤 방향 성분에 LoRA 방식의 갱신을 적용한다. 저자들은 평가한 비전·언어 과제에서 LoRA보다 학습 용량과 안정성이 개선되었고, 가중치를 합친 뒤에는 추가 추론 실행 부담을 피할 수 있는 성질이 유지된다고 보고했다.^[31]

LoRA+는 매개변수화만이 아니라 최적화에 초점을 둔다. 두 저순위 인자에 서로 다른 학습률을 주며, 논문의 실험에서 학습 속도가 최대 약 두 배 빨라지고 성능이 소폭 개선되었다고 보고한다.^[28] 어느 결과도 그 변형을 보편적으로 더 낫게 만들지는 않는다. 비교는 같은 순위, 대상 모듈, 데이터, 처리한 예시 수, 모델 선택 예산을 써야 한다.^[1]

변형이 늘어나 방법 이름만으로는 실험을 설명하기 어렵다. 정확한 학습 가능 매개변수 집합, 갱신 식, 순위나 병목 차원, 정밀도, 양자화, 초기화, 최적화 알고리즘 그룹, 병합 절차를 기록해야 한다.^[1]

5.5. 접근법 비교

이 표는 매개변수화를 설명할 뿐 성능 순서를 매기지 않는다. 모든 모델, 데이터 환경, 목표 변화, 배포 제약에 걸쳐 최선인 방법은 없다.^{[6][23][25][26][7][30][11]}

6. 언어 모델 미세 조정

6.1. 지도 미세 조정과 지시 튜닝

인과 언어 모델의 지도 미세 조정은 보통 입력이나 대화 문맥을 조건으로 응답 토큰을 예측하도록 학습시킨다. 데이터셋에는 지시와 응답, 과제 시연, 대화, 도구 호출 기록, 구조화된 출력이 들어 있을 수 있다. 구현에서는 입력에만 속하는 토큰의 손실을 가려 원하는 응답에 최적화를 집중하는 경우가 많지만, 이는 정의가 아니라 데이터 형식의 선택이다.^[1]

예시가 어떤 행동을 직접 뒷받침할지가 정해진다. 성공한 최종 답변만 담은 데이터셋은 중간 상태를 드러내거나, 빠진 정보를 되묻거나, 도구 오류에서 회복하는 법을 가르치지 못할 수 있다. 반대로 긴 설명이 많은 데이터는 짧은 답이 나은 경우에도 장황함에 보상을 줄 수 있다. 서식 잔재, 반복되는 템플릿, 우발적 라벨 누출, 모순된 시스템 지시는 모델이 배우는 상관관계가 될 수 있다.^[1]

데이터 양만으로는 품질을 충분히 가늠할 수 없다. LIMA는 650억 매개변수 LLaMA 모델을 엄선한 프롬프트-응답 쌍 1,000개로 미세 조정했고, 저자들의 평가에서 강한 행동을 보고했다.^[32] 이는 신중하게 고른 소규모 데이터셋이 유능한 기반 모델에는 효과적일 수 있다는 증거이지, 1,000개가 일반적인 요건이라는 뜻도, 더 대표성 있는 데이터가 도움이 되지 않는다는 뜻도 아니다. 긴 응답을 고르는 연구도 특정 정렬 실험에서 개선을 냈지만, 품질에 대한 단순한 대리 지표가 특정 출력 스타일에 유리할 수 있음을 함께 보여 준다.^[33]

지시 튜닝은 자연어 지시로 표현한 과제들을 섞어 학습한다. 학습 혼합은 지시 문구, 과제 형식, 시연 수를 달리할 수 있다. FLAN의 원래 실험은 지시 형식의 여러 과제로 튜닝하면 연구한 모델이 보류한 과제에서 제로샷 일반화가 좋아진다는 것을 보였다.^[9] 이후 확장 연구는 1,836개 과제를 사용했고 모델 크기와 평가 범주 전반에서 향상을 보고했다.^[17]

지시 튜닝이 모델을 모든 지시에서 신뢰할 수 있게 만들지는 않는다. 일반화는 기반 모델, 과제 혼합, 지시 다양성, 오염 통제, 평가 프롬프트에 달려 있다. 보류한 과제도 잠재 구조나 출처에서 학습 과제와 닮을 수 있다. 평가는 겹침을 어떻게 점검했는지 기록해야 하며, 한 벤치마크 계열만으로 폭넓은 지시 수행 능력을 추론해서는 안 된다.^[1]

6.2. 선호 기반 사후 학습과 계속 사전 학습

선호 기반 사후 학습은 사람이나 합성 비교에 따라 한 출력이 다른 출력보다 나올 가능성을 높이려 한다. InstructGPT는 세 단계를 썼다. 시연에 대한 지도 미세 조정, 순위가 매겨진 출력에 대한 보상 모델 학습, 지도 모델에서 벗어나는 정도를 제한하면서 학습된 보상에 대해 수행하는 강화 학습이다.^[3] 이 방법군은 흔히 인간 피드백 강화 학습이라 부른다.^[1]

직접 선호 최적화(Direct Preference Optimization)는 분류 방식의 목적 함수를 도출해, 기준 정책에 대한 선호 응답과 거부 응답으로 정책을 직접 학습시킨다. 원 논문이 설명한 최적화 절차에서는 명시적 보상 모델을 맞추지 않고 온폴리시 샘플링도 피한다.^[4] 그래도 DPO는 선호 데이터, 기준 정책 선택, 목적 함수 하이퍼파라미터, 비교의 범위에 의존한다. 이런 의존성을 가리는 식으로 "보상 없는 RLHF"라고 요약해서는 안 된다.^[1]

선호 최적화는 한 행동을 얻는 대신 다른 행동을 내줄 수 있다. 평가자끼리 의견이 다를 수 있고, 선호에는 문화적·문체적 가정이 담길 수 있으며, 생성된 선호 데이터는 생성 시스템의 오류를 물려받을 수 있다. 보고된 선호 승률은 평가자, 프롬프트 분포, 비교 방식, 불확실성을 밝혀야 한다. 선호 지표의 향상이 곧 사실 정확성, 안전, 견고성을 입증하는 것은 아니다.^[1]

주된 간극이 용어, 문체, 비라벨 분야 분포일 때는 지시-응답 학습보다 계속 사전 학습이 더 적절할 수 있다. 분야 적응 사전 학습은 분야 텍스트에 언어 모델 목적 함수를 이어서 적용하고, 과제 적응 사전 학습은 목표 과제와 관련된 비라벨 텍스트에 적용한다. Gururangan 연구진은 실험에서 두 단계 모두 여러 분야와 과제에서 성능을 높였다는 것을 발견했다.^[16]

계속 사전 학습과 지도 미세 조정은 순서대로 이을 수 있다. 모델이 비라벨 텍스트로 분야 통계를 먼저 배우고, 라벨 있는 예시로 출력을 배우는 식이다. 계속 사전 학습은 능력을 바꾸거나 품질이 낮거나 민감한 데이터에 노출될 위험을 키울 수 있으므로 두 단계를 따로 평가해야 한다. 목적 함수를 밝히지 않고 두 단계를 모두 "미세 조정"이라 부르면 모델이 어떤 정보를 받았는지 가려진다.^[1]

7. 다른 모달리티

비전에서는 사전 학습된 합성곱 신경망이나 비전 트랜스포머의 분류 헤드를 바꾼 뒤 헤드, 선택한 블록, 또는 전체 네트워크를 학습하는 설계가 흔하다. 원천과 목표의 유사성, 이미지 해상도, 증강, 라벨 품질, 클래스 균형이 결과에 영향을 준다. ImageNet 사전 학습은 역사적으로 중요하지만 전이 가능한 시각 특징의 유일한 출처는 아니며, 가능하면 무작위 초기화나 고정 특징 기준선과 성능을 비교해야 한다.^[10][19][18]

Visual Prompt Tuning은 입력 공간의 소수 프롬프트 매개변수를 학습해 고정된 비전 트랜스포머를 적응시킨다. 원 논문은 과제별 매개변수가 1퍼센트 미만이어도 평가한 전이 과제 다수에서 전체 미세 조정보다 나을 수 있다고 보고했다.^[34] 이 결과는 시험한 구조와 벤치마크에 관한 것이며 모든 비전 모델에 해당하지는 않는다.^[1]

텍스트-이미지 확산 모델에서 미세 조정은 생성을 특정 대상, 스타일, 분야로 특화할 수 있다. DreamBooth는 사전 학습된 텍스트-이미지 모델을 미세 조정해 드문 식별자를 대상에 연결하며, 논문의 설정에서 대상 이미지 세 장에서 다섯 장과 클래스별 사전 보존 목적 함수를 쓴다.^[35] Textual Inversion은 생성 모델을 고정한 채 소수의 이미지로 새 의사 단어의 임베딩을 학습한다.^[36] 전자는 모델 가중치를 바꾸고 후자는 간결한 조건 매개변수를 학습한다. 둘 다 적응이라 부를 수 있지만 저장, 편집 가능성, 위험이 다르다.^[1]

음성과 멀티모달 시스템도 비슷한 패턴을 쓴다. 사전 학습된 인코더, 디코더, 또는 결합 표현을 재사용하고 목표 손실에 맞춰 최적화한다. 모달리티별 전처리도 모델 인터페이스의 일부다. 특징 추출기, 샘플링 레이트, 이미지 정규화, 특수 토큰, 대화 템플릿이 빠지면 미세 조정된 체크포인트를 안정적으로 재사용할 수 없다.^[1]

8. 데이터 설계

데이터셋은 배포 후 예상되는 입력, 출력, 사용자, 언어, 경계 사례를 대표해야 한다. 쉽게 구할 수 있는 출처에서 예시를 무작위로 모으는 것은 그 출처가 운영 환경과 다르면 충분하지 않다. 예를 들어 의학 약어 과제는 전문 분야, 기관, 국가, 문서 유형에 따라 달라질 수 있다. 기반 모델의 폭넓은 능력이 목표를 정의할 필요를 없애 주지는 않는다.^[1]

의도한 행동은 학습 전에 검증 가능한 요구 사항으로 써 두어야 한다. 분류에서는 라벨 체계와 모호한 사례의 처리가 여기 해당한다. 생성에서는 사실성, 거절 행동, 형식 제약, 인용 행동, 어조, 정보가 빠졌을 때 모델이 할 일이 포함된다. 두 주석자가 명세를 일관되게 적용하지 못하면 모델은 일관되지 않은 신호를 받는다.^[1]

모든 학습 예시에는 출처, 수집일, 변환 이력, 허가 근거가 기록되어야 한다. 개인 데이터, 저작물, 기밀 기록, 사용이 제한된 모델 출력은 별도 검토가 필요하다. 이름만 지운다고 식별 정보가 모두 사라지지는 않을 수 있다. 중복 제거는 정확히 같은 기록, 거의 같은 텍스트, 템플릿 변형, 반복되는 대화 등 적절한 수준에서 이루어져야 한다.^[1]

출처 기록은 이후의 수정도 뒷받침한다. 출처가 철회되거나 라벨 정책이 바뀌면 영향받는 예시를 찾을 수 있어야 한다. 안정적인 예시 식별자가 없는 평평한 파일 하나는 표적 수정과 감사를 어렵게 한다.^[1]

학습, 검증, 시험 세트는 반복적인 모델 선택 전에 분리해야 한다. 분리 단위는 정보가 반복되는 방식을 반영해야 한다. 개별 메시지로 나누면 거의 같은 대화가 세트 사이에 새어 나갈 수 있고, 이미지 크롭으로 나누면 같은 원본 이미지가, 문서로 나누면 같은 템플릿이나 개체의 구절이 새어 나갈 수 있다. 집단별 또는 시간 기준 분할이 더 현실적인 경우가 많다.^[1]

벤치마크 오염은 사전 학습 모델에서 별개의 문제다. 공개 시험 세트는 미세 조정 세트에 없어도 이미 사전 학습 데이터에 나타났을 수 있다. 사전 학습 데이터를 정확히 알 수 없으면, 평가는 확인된 미세 조정 누출과 기반 모델 오염 가능성을 구분하고, 적절할 때 새로 수집한 시험이나 비공개 시험을 써야 한다.^[1]

정제는 어렵지만 유효한 예시를 보존하면서 손상되었거나 중복되었거나 범위를 벗어난 기록을 제거해야 한다. 클래스 재균형과 샘플링 가중치는 실제 학습 분포를 바꾸므로 기록해 두어야 한다. 생성 데이터에서는 프롬프트 수준에서는 예시가 다양해 보여도 반복되는 답변 템플릿이 토큰 수준 손실을 지배할 수 있다.^[1]

합성 예시에도 사람이 만든 데이터와 같은 출처 기록과 평가 규율이 필요하다. 적용 범위를 넓힐 수는 있지만 생성기의 사실 오류, 문체, 안전 공백을 복사할 수도 있다. 합성 데이터 필터는 품질을 보장한다고 가정하지 말고 보류한 사람 판단에 견주어 시험해야 한다.^[1]

언어 모델 예시는 토크나이저와 대화 템플릿을 거쳐 토큰으로 직렬화된다. 역할 표지, 구분자, 시퀀스 종료 토큰, 잘라내기, 손실 마스크가 실제 학습 신호를 정한다. 보기에는 올바른 JSON 대화도 서식을 적용한 뒤 어시스턴트 경계가 잘못 놓이거나 답변 앞에서 잘리면 틀린 데이터가 될 수 있다.^[1]

따라서 데이터셋 점검에는 디코딩한 토큰 시퀀스와 손실 마스크가 들어가야 한다. 길이 분포는 토큰화 뒤에 측정해야 한다. 잘라내기 정책은 지시, 가장 최근 턴, 답변 등 어느 부분을 보존할지 정해야 한다. 짧은 예시 여러 개를 한 시퀀스로 묶으면 활용도를 높일 수 있지만, 어텐션 경계와 손실 마스크가 예시 사이의 의도하지 않은 조건화를 막아야 한다.^[1]

9. 학습 절차

평가는 학습 전에 시작해야 한다. 유용한 기준선으로는 고정된 프롬프트를 쓴 변경 전 기반 모델, 단순한 헤드를 단 고정 특징 추출기, 관련이 있다면 검색이나 계속 사전 학습이 있다. 기준선은 매개변수 갱신이 필요한지 보여 주고 회귀의 기준을 제공한다. 강한 기준선은 미세 조정 모델과 같은 시험 프롬프트, 디코딩 설정, 전처리, 지표 구현을 쓴다. 신중히 고른 디코딩을 쓴 튜닝 모델을 기본 디코딩의 기반 모델과 비교하면 학습과 추론 실행의 효과가 뒤섞인다.^[1]

전체, 부분, 매개변수 효율적 미세 조정 중 무엇을 고를지는 목표의 변화 폭과 배포 제약에 따라야 한다. 전체 학습은 넓은 갱신 능력을 준다. LoRA나 어댑터는 과제별 상태를 줄이고 하나의 기반 위에 여러 변형을 둘 수 있다. 프롬프트 방법은 과제 저장을 최소화하지만 용량이 작을 수 있다. 양자화 어댑터 학습은 기반 가중치 메모리를 줄이는 대신 수치와 실행 환경의 제약을 더한다.^[1]

학습 가능한 매개변수 수는 방법 논문에서 베끼지 말고 실제 모델에서 계산해야 한다. 보고서에는 개수와 비율, 대상 모듈, 층, 순위나 병목 크기, 편향, 정규화 매개변수, 과제 헤드, 계속 학습 가능한 임베딩을 적어야 한다.^[1]

배치 크기, 시퀀스 길이, 기울기 누적, 최적화 알고리즘, 스케줄, 정밀도, 클리핑, 규제, 체크포인트 빈도는 서로 영향을 준다. 유효 배치 크기만으로는 갱신에 기여하는 토큰이나 예시의 수와 길이를 포착하지 못한다. 길이가 다양하면 토큰 기준으로 정규화한 손실과 예시 기준으로 정규화한 손실이 다르게 동작할 수 있다.^[1]

하이퍼파라미터는 학습과 검증 정보만으로 골라야 한다. 사전에 정한 작은 탐색 공간은 기록 없이 반복하는 시행착오보다 해석하기 쉽다. 여러 무작위 시드를 감당할 수 있다면, 시드는 가장 좋아 보이는 결과를 고르는 수단이 아니라 평가 설계의 일부로 다루어야 한다.^[12][27]

학습 손실은 최적화가 일어난다는 것을 확인할 뿐 일반화를 입증하지 않는다. 검증 손실과 과제 지표는 발산이나 과적합을 포착할 수 있는 간격으로 추적해야 한다. 조기 종료는 불필요한 갱신을 줄일 수 있지만, 종료 규칙과 대기 횟수는 모델 선택의 일부가 되므로 시험 세트를 들여다보아서는 안 된다.^[1]

모델 출력 표본은 총합 손실이 놓치는 서식 붕괴, 반복, 거절 변화, 라벨 누출을 드러낼 수 있다. 자동 점검은 안정적이고 버전이 매겨진 표본 집합과 함께 써야 한다. 영향이 큰 응용에서는 분야 전문가가 전형적인 출력과 최악의 출력을 모두 살펴봐야 한다.^[1]

미세 조정된 산출물은 가중치 파일 이상이다. 기반 모델과 리비전, 토크나이저 또는 특징 처리기, 학습 데이터 버전, 서식 코드, 학습 가능 매개변수 구성, 최적화 알고리즘 설정, 무작위 시드, 소프트웨어 버전, 평가 결과를 밝혀야 한다. 어댑터에서는 기반 체크포인트가 필수 의존성이고, 병합한 어댑터에서는 병합 절차와 출력 정밀도가 필수다.^[1]

모델 카드는 의도한 용도, 평가, 한계, 관련 학습 정보를 구조적으로 기록하는 방법을 제공한다.^[37] 배포 기록에는 산출물이 전체 가중치, 가중치 변화량, 어댑터 매개변수, 소프트 프롬프트, 양자화 기반과 어댑터의 조합 중 무엇을 담고 있는지도 적어야 한다.^[1]

10. 평가

주요 지표는 배포 결정에 대응해야 한다. 정확도는 클래스 불균형을 가릴 수 있고, 토큰 겹침은 의미 오류를 놓칠 수 있으며, 선호 점수는 의견 불일치를 숨길 수 있고, 평균 점수는 일부 하위 집단의 심각한 실패를 가릴 수 있다. 목표 집단이 이질적이면 평가 계획에 클래스별 또는 구간별 결과를 포함해야 한다.^[1]

생성 시스템에서는 결정론적 지표와 모델 기반 채점자를 대표 표본에 대한 사람의 판단과 맞춰 보정해야 한다. 후보 모델과 모델 계열, 학습 데이터, 문체 선호를 공유하는 채점자는 상관된 편향을 일으킬 수 있다. 사람 평가는 지침, 평가자 모집, 블라인드 여부, 비교 횟수, 집계 방식, 불확실성을 보고해야 한다.^[1]

목표 지표만으로는 모델이 잃은 것을 알 수 없다. 회귀 시험 모음은 중요한 원천 능력, 언어, 안전 행동, 보정, 출력 형식을 포함해야 한다. Biderman 연구진의 LoRA와 전체 미세 조정 비교는 분야 내 학습과 분야 밖 유지를 모두 측정해야 하는 이유를 보여 준다.^[11]

유지 시험은 최종 체크포인트를 보기 전에 골라야 한다. 그렇지 않으면 무의식적으로 방법에 유리하게 시험 모음이 구성될 수 있다. 좁은 분류기에서는 유지가 백본 표현의 품질 문제일 수 있다. 범용 언어 모델에서는 추론, 사실 회상, 지시 수행, 거절 경계, 도구 사용 프로토콜이 포함될 수 있다.^[1]

견고성 시험은 철자, 서식, 바꿔 쓰기, 이미지 품질, 인구통계 또는 지리적 구간 등 사용 사례에 관련된 조건을 바꿔 본다. 분포 밖 시험은 임의의 훼손이 아니라 배포에서 있을 법한 변화를 반영해야 한다. 무작위로 보류한 분할에서 잘 나오는 모델도 출처, 기관, 시기, 사용자 집단이 바뀌면 실패할 수 있다.^[1]

변동이 크면 미세 조정 비교에는 신뢰 구간이나 반복 실행을 써야 한다. Mosbach 연구진은 BERT 미세 조정 실패 일부를 단순한 하나의 설명으로 받아들이지 않고 최적화의 어려움과 기울기 소실로 추적했다.^[12] Du와 Nguyen은 표준편차만으로는 미세 조정의 불안정성을 충분히 설명하지 못한다는 것을 보이고, 실행 사이의 성능 차이를 더 잘 반영하는 측정을 주장했다.^[27][1]

효율은 의미 있는 수준에서 측정해야 한다. 학습 보고에는 경과 시간, 에너지, 최대 할당·예약 메모리, 처리한 예시나 토큰 수, 하드웨어를 포함할 수 있다. 서비스 보고에는 지연 시간, 처리량, 메모리, 어댑터 전환 비용, 콜드 스타트 동작을 포함할 수 있다. 학습 가능한 매개변수 수는 유용하지만 이런 측정을 대신하지 못한다.^[1]

모든 효율 비교에는 같은 작업량과 환경이 필요하다. 최적화 알고리즘 메모리를 줄이는 방법이 활성값 메모리를 줄이지는 않을 수 있다. 병합한 LoRA 체크포인트는 추론 실행 때 어댑터 연산이 없을 수 있지만, 병합하지 않았거나 동적으로 전환하는 어댑터는 서비스 특성이 다를 수 있다.^[29]

11. 위험과 실패 양상

11.1. 성능 저하와 불안정성

과적합은 미세 조정된 모델이 일반화되지 않는 학습 표본의 특이성을 포착할 때 생긴다. 작은 데이터셋, 중복, 잡음 라벨, 과도한 최적화, 검증에 따른 반복 선택이 원인이 될 수 있다. 학습 손실이 떨어지는데 검증 성능이 나빠지는 것이 흔한 신호지만, 과적합은 주요 지표가 포착하지 못하는 좁은 문체 모방이나 암기로 나타나기도 한다.^[1]

완화책으로는 더 나은 데이터 수집, 중복 제거, 데이터 증강, 가중치 감쇠, 드롭아웃, 더 작은 학습 가능 상태, 더 적은 갱신, 조기 종료가 있다. 올바른 개입은 실패 양상에 달려 있다. 규제를 더해도 잘못 라벨링된 목표 체계나 새어 나간 시험 세트는 고칠 수 없다.^[1]

부정적 전이는 원천 지식의 재사용이 목표 결과를 해칠 때 생긴다. 원천 과제와 목표 과제가 상충하는 특징에 보상을 주거나, 사전 학습된 표현이 중요한 구분을 빠뜨렸거나, 강한 원천 편향이 최적화를 나쁜 해로 이끌 때 일어날 수 있다. Yosinski와 동료들의 전이 가능성 실험은 전이된 특징의 이득이 과제 간 거리와 층 깊이에 따라 달라짐을 보였다.^[10]

아주 큰 파운데이션 모델에서는 무작위로 초기화한 목표 모델을 일상적인 기준선으로 쓰기에는 비용이 너무 클 수 있지만, 더 작은 통제 실험, 고정 특징 기준선, 원천 체크포인트 간 비교로 전이가 도움이 된다는 가정을 시험할 수 있다. 원천 모델을 크기나 인기만으로 골라서는 안 된다.^[1]

파국적 망각은 새 정보를 학습하면서 이전에 학습한 능력을 잃는 현상이다. 순차적 신경망 학습에서 오래된 문제이며, 탄성 가중치 통합(elastic weight consolidation)은 이전 과제에 중요한 매개변수를 보호하도록 설계된 방법 중 하나다.^[38] 미세 조정 중 망각은 일반 벤치마크, 목표 데이터에 없는 언어, 안전 행동, 목표 목적이 보상하지 않는 능력의 하락으로 나타날 수 있다.^[1]

매개변수를 고정하거나 LoRA를 쓰면 일부 변화를 줄일 수 있지만 어느 쪽도 유지를 보장하지 않는다.^[11] 다른 대응으로는 재생 데이터 혼합, 매개변수 이동 제한, 갱신 크기 축소, 별도 어댑터 학습이 있다. 각각 목표 적응을 줄일 수 있으므로 목표 지표와 유지 지표를 함께 봐야 한다.^[1]

설정이 명목상 같아도 일부 미세 조정 실행은 실패하거나 크게 달라진다. 과제 헤드의 무작위 초기화, 데이터 순서, 드롭아웃, 수치 연산이 궤적을 바꿀 수 있다. 소규모 데이터 트랜스포머 실험에서는 시드가 다르면 결과가 크게 달랐다.^[12][27]

가장 좋은 시드만 보고하면 기대 성능이 부풀려진다. 반복 실행, 사전에 정한 선택 규칙, 학습 곡선 점검, 전체 구성 기록이 있으면 결과를 해석하기 쉽다. 컴퓨팅 한계로 반복 학습이 어려우면 단일 결과를 결정론적인 것처럼 제시하지 말고 그 불확실성을 보고서에 밝혀야 한다.^[1]

11.2. 안전, 프라이버시, 편향

미세 조정은 안전 사후 학습에서 학습한 행동을 약화시킬 수 있다. Qi 연구진은 소수의 적대적 예시가 시험한 모델의 안전 정렬을 해칠 수 있고, 무해한 미세 조정 데이터조차 안전 성능을 낮출 수 있음을 보였다.^[13] 이 결과가 모든 미세 조정이 안전하지 않다는 뜻은 아니지만, 평소의 목표 정확도가 적절한 안전 점검이 아님을 보여 준다.^[1]

안전 평가는 학습 전후에 목표 분야와 일반적인 오용 범주를 모두 다뤄야 한다. 접근 통제, 데이터 검토, 어댑터 출처 확인, 미세 조정된 산출물을 회수할 수 있는 능력은 운영상의 안전장치다. 사용자가 자신의 학습 데이터를 제출할 수 있다면, 악의적 예시에 대한 방어와 결과물을 누가 배포할 수 있는지에 대한 정책도 필요하다.^[1]

학습 데이터에는 개인 정보나 기밀 정보가 들어 있을 수 있고, 매개변수 갱신은 프라이버시 행동을 바꿀 수 있다. Goel 연구진은 여러 언어 모델과 데이터셋에 걸친 실험에서 무해한 미세 조정이 맥락적 프라이버시를 떨어뜨렸다는 것을 발견했고, 여기에는 부적절한 공개나 맥락에 민감한 프라이버시 규범을 따르지 못하는 경우가 포함된다.^[39] 이 결과는 행동 차원의 프라이버시에 관한 것이며, 암기와 추출은 관련되지만 별개의 평가 문제다.^[1]

프라이버시 검토는 데이터와 모델의 행동을 모두 다뤄야 한다. 데이터 최소화, 접근 통제, 보존 기간 제한, 비식별 처리, 문서화된 허가는 수집 시점의 노출을 줄인다. 학습 뒤 시험에는 응용과 관련된 맥락 의존적 공개 시나리오가 들어가야 한다. 데이터가 "익명화"되었다는 주장은 변환 방법과 남은 재식별 위험을 밝혀야 한다.^[1]

미세 조정 데이터는 기반 모델에 이미 있는 편향을 증폭하거나 다른 방향으로 돌릴 수 있다. 라벨 개수가 균형이어도 언어 변종, 직업, 지역, 장애, 교차하는 집단을 고르게 다룬다는 보장은 없다. 합성 데이터는 생성기의 고정관념을 되풀이할 수도 있다. 평가는 일반적인 편향 점수에 기대지 말고 해당 응용에서 영향받는 집단과 피해를 정의해야 한다.^[1]

완화에는 표적 수집, 주석 검토, 하위 집단 지표, 반사실 시험, 불확실한 사례의 상향 보고 경로가 들어갈 수 있다. 일부 환경에서는 모델을 최적화해 민감한 추론을 하게 하기보다 과제를 제한하는 것이 올바른 대응이다.^[1]

11.3. 분포 변화와 유지 관리

미세 조정된 모델은 개발 중 관찰한 목표 분포에 묶여 있다. 정책, 용어, 제품, 사용자 행동은 바뀔 수 있다. 모니터링은 입력 드리프트, 출력 품질, 하위 집단 성능, 안전 사고, 모델을 둘러싼 검색이나 도구 환경의 변화를 추적해야 한다.^[1]

재학습은 새 상호작용을 데이터셋에 자동으로 덧붙이는 식이어서는 안 된다. 운영 피드백은 이전 모델 행동과, 어떤 사용자가 문제를 보고하느냐에 따라 편향될 수 있다. 새 데이터는 원래 말뭉치와 같은 출처 기록, 라벨링, 분할, 검토 통제를 거쳐야 한다.^[1]

12. 미세 조정과 대안 중 고르기

미세 조정은 원하는 변화가 반복되고, 학습 예시나 다른 목적 함수로 표현할 수 있으며, 모델의 매개변수의 일부가 되어야 할 때 적절하다. 안정적인 출력 형식, 분야별 분류 경계, 지속적인 상호작용 스타일, 반복 질의 전반의 효율적인 과제 적응에 흔히 유용하다.^[1]

프롬프트 엔지니어링은 유능한 모델이 이미 과제를 수행하고 요구 사항이 컨텍스트에 들어갈 때 더 낮은 비용으로 시작할 수 있는 수단이다. 수정과 점검이 쉽지만 컨텍스트를 쓰고 표현에 민감할 수 있다. 퓨샷 프롬프팅은 입력에서 과제를 시연하지만 가중치를 갱신하지 않는다.^[14][1]

검색 증강 생성은 자주 바뀌거나, 출처를 밝혀야 하거나, 모델 밖에서 접근을 통제해야 하는 지식에 보통 더 적합하다. 원래의 RAG 구성은 사전 학습된 시퀀스-투-시퀀스 생성기와, 검색기로 접근하는 비매개변수 메모리를 결합했다.^[15] 검색 품질, 말뭉치의 최신성, 근거 연결은 별개의 엔지니어링 문제로 남는다.^[1]

계속 사전 학습은 비라벨 분야 언어나 구조의 변화에, 지도 미세 조정은 입력에서 원하는 출력으로의 대응에 맞는다. 선호 최적화는 그럴듯한 출력 사이의 비교 판단에 맞는다. 이 단계들은 결합할 수 있지만 각각 자체 평가와 데이터 기록이 있어야 한다.^[16][3][4]

실무적인 결정 순서는 다음과 같다.^[1]

• 변경하지 않은 기반 모델을 고정된 프롬프트와 평가 세트로 측정한다.
• 변하는 지식이 필요한 경우 검색이나 도구로 해결되는지 시험한다.
• 매개변수 갱신이 필요하면 고정 특징 또는 작은 어댑터 기준선을 세운다.
• 목표 성능이나 견고성이 정당화할 때만 더 큰 학습 가능 상태를 비교한다.
• 목표 행동과 유지된 능력을 모두 평가한다.
• 학습 가능한 매개변수가 가장 적은 방법을 따로 고르지 말고, 사전에 정한 요구 사항을 충족하는 운영상 가장 작은 적합 방법을 고른다.^[1]

13. 재현성 점검표

미세 조정 보고서는 다음을 밝혀야 한다.^[1]

• 정확한 기반 체크포인트, 리비전, 라이선스, 토크나이저, 전처리
• 학습 목적 함수와, 손실에 기여하는 토큰이나 예시
• 데이터셋 출처, 버전, 라이선스나 허가, 필터, 중복 제거, 분할 규칙
• 전처리 후 예시와 토큰 수, 관련 길이·클래스 분포
• 헤드, 임베딩, 편향, 정규화 매개변수, 프롬프트, 어댑터, 저순위 대상을 포함한 모든 학습 가능 매개변수 그룹
• 최적화 알고리즘, 학습률 스케줄, 배치 구성, 정밀도, 클리핑, 규제, 종료 규칙
• 무작위 시드와 독립 실행 횟수
• 하드웨어와 소프트웨어 버전
• 모델 선택 기준과 시험 세트를 건드리지 않았는지 여부
• 목표, 유지, 안전, 프라이버시, 견고성, 효율 평가
• 공개하는 산출물의 형식과, 기반 모델이나 양자화 구성에 대한 의존성^[1]

이런 세부 사항은 재현 가능한 절차와 방법 이름만 붙인 보고를 구분하는 데 필요하다. 예를 들어 "LoRA로 미세 조정했다"만으로는 순위, 대상 모듈, 배율, 드롭아웃, 정밀도, 양자화, 최적화 알고리즘 그룹, 데이터 형식, 기반 리비전이 정해지지 않은 채 남는다.^[7][29]