연구진이 LLM 기반 개인정보 탐지기를 평가하는 벤치마크 QuasiLeak-Bench를 arXiv에 공개했다. 하나만 보면 약한 단서지만 여러 개가 합쳐지면 개인의 사적 속성을 드러내는 묶음을 탐지기가 온전히 찾아내는지, 발신자가 정한 공개 정책이 금지한 노출을 표시하는지를 잰다.
논문은 이런 단서 묶음을 준거 증거 묶음(quasi-evidence group)이라 부른다. 기존 개인정보 벤치마크는 명시적 식별자, 속성 추론, 과제 중심의 노출에 집중해 이 묶음에서 이루어지는 추론은 거의 측정하지 못했다고 연구진은 밝혔다. 묶음의 노출이 프라이버시 침해인지는 발신자가 정한 공개 정책에도 좌우된다.
정답 데이터는 역방향으로 만든다. 먼저 약한 준식별자를 고르고, 이를 묶어 목표 속성을 함께 드러내는 것으로 검증된 증거 묶음을 구성한다. 그 증거를 중심으로 문서를 생성한 뒤 자동 품질 관리를 거친다. 연구진은 이 방식으로 신뢰할 만한 정답을 대규모로 확보한다고 설명했다.
실험에서 기존 개인정보 탐지기는 QuasiLeak-Bench로 전이가 잘 되지 않았다. 로컬에 배포할 수 있는 LLM 기반 탐지기는 상용 모델에 크게 뒤졌고, 주된 원인은 증거 묶음 자체를 대부분 놓치는 것이었다.
연구진의 학습용 분할로 미세조정한 4B 모델은 따로 떼어 둔(held-out) 문서에서 프롬프트 방식의 가장 강한 모델을 앞섰다. 연구진은 이 결과가 과제를 학습할 수 있음을 보여 준다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.