LEAN, 손실 함수로 가중치 민감도 조절해 비트 오류 방어 강화

학습을 마친 신경망에서 비트 하나가 뒤집힐 때 입는 피해를 줄이는 방법 LEAN이 논문으로 공개됐다. 연구진은 손실 함수에 규제항을 더해 가중치의 민감도 분포 자체를 바꾸는 방식이라고 설명했다. 논문은 2026-10-20 arXiv에 올라왔다.

연구진은 ResNet-18, ResNet-50, VGG-16을 CIFAR-10, CIFAR-100, ImageNet에서 실험했다. 규제항을 넣어 10 에폭을 돌리면 아홉 개 비전 모델에서 민감한 꼬리가 5~13배 줄었고, 정확도 하락은 0.5%포인트 이내였다. 10 에폭은 이미 학습한 모델의 미세조정으로 쓰거나 학습 마지막 에폭으로 넣을 수 있다. 소형 언어 모델 세 개에서도 같은 꼬리 변화가 나타났지만 예비 실험이다.

저장된 가중치 하나의 민감도는 기울기와, 저장 형식에서 비트가 뒤집힐 때 값이 움직이는 폭을 곱한 값이다. LEAN은 두 요인에 복합 규제항을 건다. 범위 항은 비트 반전으로 값이 움직이는 폭에 상한을 두고, 꼬리 항은 가장 민감한 가중치의 기울기를 낮춘다. 계수 λ 하나로 분포가 이동하는 정도를 정한다.

학습된 네트워크에서 가중치마다 민감도는 다르다. 가장 민감한 상위 1%가 비트 반전 피해의 약 5분의 1을 차지한다. 기존 방어 기법은 학습이 남긴 분포를 그대로 두고 작동했다. 연구진은 실제 비트 반전 실험에서 LEAN으로 분포를 바꾼 가중치가 피해를 덜 입혔고, 단순한 기울기 노름 페널티로는 같은 효과가 나지 않았다고 밝혔다.

가중치의 1%에 BCH 부호를 적용하면, LEAN 모델은 점진적 비트 탐색 공격의 반전 300회를 모든 학습 시드에서 견뎠다. 500회는 시드 세 개 중 두 개에서 견뎠다. 같은 부호를 쓴 기존 방어 기법 넷 중 셋은 300회까지 실패했고, WCAT는 500회에서 75%였다.

분포를 바꾸면 비용도 줄어든다. 보장 수준을 고정했을 때 필요한 패리티가 3.7배 줄었고, 민감도 순서에 따라 8/6/4/3비트를 배정하는 형식을 쓸 수 있게 됐다. ImageNet ResNet-50은 가중치 용량 3.29비트로 저장되며, 이는 INT8보다 2.4배 작고 3비트 LSQ보다 정확도가 높다.