Google Research, 이미지 분류 기준을 AI와 정하는 Agile Deliberation 공개

Google Research가 11월 4일(현지시간) 주관적인 기준의 이미지 분류기를 사람과 AI가 함께 만드는 방법 Agile Deliberation을 공개했다. 사용자가 애매한 이미지를 보고 판단을 내리면 시스템이 그 피드백을 반영해 프롬프트를 자동으로 고치고, 쓸 수 있는 분류기를 만들어 준다.

코드와 알고리즘은 GitHub에 오픈소스로 올라와 있고 논문도 함께 나왔다. "건강한 음식" 예시를 따라 해 볼 수 있는 Colab/Jupyter 데모도 제공된다. 사용자가 전문 지식을 가진 분야라면 어디든 적용할 수 있다고 Google Research는 설명했다. 오해를 부르는 클릭 유도 이미지를 가려내거나 "영감을 주는 미술 작품"처럼 개인 취향의 분류기를 만드는 용도가 예로 제시됐다.

두 단계로 기준을 다듬는다

첫 단계는 개념 범위 정하기다. 사용자가 "건강한 음식" 같은 넓은 주제를 하위 개념과 제외 대상으로 나눈다. 예를 들어 샐러드, 곡물 보울, 살코기 단백질을 포함 대상으로 두고 가공식품과 손질하지 않은 생재료를 제외 대상으로 정한다.

둘째 단계는 개념 반복이다. 비전 언어 모델(VLM)이 현재 텍스트 정의로는 판단하기 모호한 경계선 이미지를 찾아 사용자에게 보여 준다. 과일 스무디 사진을 내놓고 생과일이 들어 있어 건강한 음료인지, 당분이 많아 제외할 가공식품인지 묻는 식이다. 사용자의 답은 프롬프트 자동 최적화 루프로 들어가 VLM의 분류 경계를 사용자의 정의에 맞춰 옮긴다.

Google Research는 이 단계가 능동 학습에서 착안했지만 목적이 다르다고 설명했다. 능동 학습은 기계의 불확실성을 줄이려고 예시를 고르는 반면, Agile Deliberation은 사람이 자신의 숨은 전제를 돌아보게 하는 이미지를 고른다. 사람이 처음부터 완전한 규칙을 갖고 있다는 기존 머신러닝의 가정도 따르지 않는다.

18회 사용자 세션으로 평가

정해진 정답이 없는 주관적 개념은 기존 벤치마크로 측정할 수 없어, 연구팀은 프로토타입을 만들어 1.5시간씩 18회의 실사용 세션을 열었다. 참가자는 학습 효과를 막기 위해 무작위 순서로 이 시스템과 비교 방식을 번갈아 썼다. 영역은 건강한 음식과 Pay-to-Play 두 가지였다. Pay-to-Play는 온라인 엔터테인먼트나 게임에서 금전·디지털 보상을 오해하게 만드는 클릭 유도 이미지를 찾는 콘텐츠 검수 과제다.

구조화된 숙의를 거친 참가자의 라벨링 일관성이 시간이 갈수록 크게 높았고, 만들어진 분류기가 모든 비교 방식보다 뛰어났다고 Google Research는 밝혔다. 성능 향상은 가장 판단하기 어려운 이미지에서 가장 컸다. 두 영역 모두에서 제로샷 대비 성능이 꾸준히 올랐지만, 수동 숙의는 성능이 오르지 않거나 오히려 정확도가 떨어지는 경우도 있었다.

전문가 참가자들은 시스템이 헷갈리는 경계 이미지를 보여 준 덕에 처음 정의에서 놓친 사각지대를 찾았다고 답했다. 수동 방식에서는 경계 사례를 찾을 검색어를 짐작하느라 피로가 컸고, 오류 하나를 고치려 프롬프트를 바꾸면 이미 고친 부분이 나빠질까 불안했다고 했다.

기존 수동 프롬프트 엔지니어링과 비교해, Agile Deliberation을 쓴 참가자는 노력과 스트레스가 통계적으로 유의하게 줄었다고 답했다. 정신적 부담은 더 낮았고 인지된 성공과 사용 편의는 더 높았다. 모든 참가자가 수동 방식보다 이 시스템을 택했다. 사용자는 프롬프트 엔지니어가 될 필요 없이 경계 이미지 갤러리를 보며 의견만 내면 된다.

이 연구는 Google Research와 Google Ads의 협력으로 진행됐다. Google Research는 이 방법이 신뢰·안전 팀의 콘텐츠 검수 필터 구축, 큐레이터의 디지털 컬렉션 구성, 과학자의 시각 데이터 분류를 돕는다고 설명했다.