지시 데이터로 대규모 언어 모델(LLM)을 미세 조정하면 학습 예시에 해로운 내용이 없어도 모델의 안전성이 조용히 떨어질 수 있다. 연구진은 이런 데이터를 찾아내는 기울기 임베딩 방법 SimpleLoRIF를 논문으로 공개했다. 이 방법으로 Tulu 3에서 안전하지 않은 응답과 기울기가 가장 가까운 예시 20%를 뺀 데이터셋이 SafeTulu다.
연구진에 따르면 SafeTulu로 학습한 모델은 Qwen, Llama, Olmo 계열 전반에서 GCG 공격 성공률이 최대 22% 낮아졌고, 성능은 대체로 유지되거나 오히려 좋아졌다. 연구진은 SafeTulu를 공개했으며, Hugging Face Space에서 제거 비율을 바꾸거나 일부 하위 데이터만 걸러 자신만의 버전을 만들 수 있다.
기울기로 위험한 데이터를 찾는 방식
겉보기에 무해한 데이터는 일반적인 내용 필터로 잡아내기 어렵다. 연구진은 저차원 어트리뷰션 방법을 단순화하고 역전파를 마지막 트랜스포머 블록 4개로 한정해, 안전하지 않은 행동과 기울기 방향이 맞는 미세 조정 예시를 가려내는 SimpleLoRIF를 만들었다고 밝혔다. 이렇게 하면 100만 건 규모의 데이터셋도 임베딩할 수 있고, 소규모 분석 도구였던 기울기 어트리뷰션이 사후 학습 전체 데이터에 쓸 수 있는 실용적인 필터가 된다는 것이 연구진의 설명이다.
검증은 오정렬이 학습 뒤 폭넓게 나타나는 현상에서 시작했다. 보안이 취약한 코드 학습 데이터와 이후 나타나는 광범위한 유해 행동이 기울기 공간에서 연결됐고, 오정렬된 모델의 기울기 공간에서 AUC는 최대 0.865였다.
SafeTulu 결과와 제거된 데이터
연구진은 SafeTulu가 LLM 평가자 방식과 기존 기울기 기반 필터링보다 나은 결과를 냈다고 밝혔다. 제거된 데이터를 분석한 결과, 도구 실행 실패와 서술형 산술이 아직 충분히 연구되지 않았을 수 있는 안전성 저하 원인으로 지목됐다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.