ΣΔ-Sampler, 이진·삼진 AI 모델 학습 메모리 50% 이상 줄여

이진·삼진 신경망을 엣지 기기에서 직접 학습시키는 새 최적화 방식 ΣΔ-Sampler가 논문 사전공개 사이트 arXiv에 2026년 10월 15일 올라왔다. 연구진은 표준 양자화 인식 학습과 비교해 학습 메모리 사용량이 50% 넘게 줄고, 속도는 약 10배(한 order of magnitude) 빨라지며, 가중치 갱신에 따른 메모리 이동량은 네 자릿수(four orders of magnitude) 줄었다고 밝혔다.

연구진은 이 방식이 대형 이진·삼진 모델을 기기 안에서 학습하고 미세 조정하는 데 적합하다고 주장했다.

작동 방식

연구진은 이진·삼진 가중치를 가진 신경망의 학습 손실을 다변수 다항식으로 전개하면 계층적 고차 이징(Ising) 모델의 에너지와 구조가 같다는 점을 이용했다. 이 대응 덕분에 이징 풀이기를 이산 가중치 학습에 쓸 수 있다.

다만 목표가 다르다. 이징 풀이기는 고정된 에너지 함수의 바닥 상태를 찾지만, 학습은 보지 못한 데이터에도 통하는 해를 찾아야 한다. ΣΔ-Sampler는 확률적 샘플링과 어닐링 단계를 잡음이 섞인 양자화기로 삼아 1차 ΣΔ 잡음 성형 루프 안에 넣는 최적화 알고리즘이다.

이 루프는 가중치 양자화, 고차 좌절(frustration), 미니배치 샘플링에서 생기는 잡음을 저주파 적응 대역 밖으로 밀어낸다. 그 결과 이산 가중치 갱신이 울퉁불퉁한 손실 지형 속의 매끄러운 하강 경로를 따른다고 연구진은 설명했다.

실험 결과

• 최소해가 알려진 planted 이차 비제약 이진 최적화(QUBO) 벤치마크로 검증했다.
• CIFAR-10에서 1,300만 매개변수 삼진 모델이 완전 정밀도 모델과 정확도 차이 1% 이내였다.
• ImageNet-1k에서 삼진 ResNet-18이 삼진 기준 모델과 Top-5 정확도 차이 0.4% 이내였다.
• 클래스 증분 지속 학습에서 이전 과제의 정확도가 유지됐다.
• 최대 27억 매개변수의 행렬곱 없는(MatMul-free) 언어 모델에서는 동일 조건의 지속 사전 학습(continued pre-training)에서 straight-through estimator 기준선을 앞섰다.

이진·삼진 모델은 가중치를 극단적으로 낮은 비트로 표현해 양자화 부담이 큰 구조다. 위 성능과 효율 수치는 모두 저자들이 논문에서 제시한 결과다.