Adobe Research와 UC San Diego 연구팀이 이미지 편집용 AI 에이전트 EditAgent를 논문으로 공개했다. 범용 편집 모델과 전문 도구를 함께 쓰고, 결과물을 원본과 측정값으로 비교해 가장 나은 것을 고르는 방식이다.
기존 편집 에이전트는 복잡한 요청을 단계로 나눈 뒤 실패한 단계를 같은 도구로 다시 시도하고, 결과는 별도 모델이 눈으로 훑어 판단한다. EditAgent는 단계마다 서로 다른 방법으로 후보를 병렬 생성하고, 따로 조정하지 않은 일반 언어 모델이 후보를 한꺼번에 비교한다.
범용 편집기가 실패하는 지점
연구팀이 편집 600건을 전문가 5명의 블라인드 평가로 시험하자, 범용 편집기 Flux-2-Klein-9B는 42.7%에서 쓸 만한 결과를 내지 못했다. 전문 도구는 이 실패의 약 3분의 2를 해결했고, 특히 선명도 보정, 회전, 확대에서 효과가 컸다. 같은 편집기로 재시도를 늘려도 개선은 거의 없었다.
단계별로 결과를 다듬는 방식과 원본에서 여러 변형을 병렬로 만드는 방식도 비교했다. 순차 다듬기는 매번 이미 바뀐 이미지 위에서 작업해 작은 오류가 쌓인다. 전문가가 한쪽을 골랐을 때 78.5%는 원본에서 만든 병렬 변형을 택했고, 평가 횟수도 절반이면 충분했다.
측정값을 보여 주면 심사 모델이 나아진다
심사 모델은 후보마다 편집 부위 확대 이미지, 변경 영역 지도, 밝기와 색상 측정 통계로 된 검증 기록을 받는다. 사진을 살짝 밝히는 예시에서 측정값은 범용 편집기가 과노출을 일으키고 색을 따뜻한 쪽으로 틀었다고 보여 줬고, 전문 도구는 지시 범위를 지켰다. 매 라운드 뒤에는 나중 편집이 앞선 편집을 되돌렸는지도 점검한다. 예를 들어 '햇빛을 더 들이라'는 지시가 성에 낀 창문을 다시 투명하게 만든 충돌을 에이전트가 찾아 고쳤다.
연구팀은 600건 벤치마크에서 심사 모델이 고른 이미지를 전문가도 쓸 만하다고 평가한 비율을 쟀다. 사람 평가로 미세 조정한 EditScore 등과 비교한 결과, 검증 기록이 없으면 일반 언어 모델 7종 모두 최고 미세 조정 모델에 못 미쳤다. 기록을 주면 7종 모두 모든 미세 조정 모델을 넘었다. 검증 기록을 받은 Qwen3.8-27B가 고른 이미지의 81.3%를 전문가가 쓸 만하다고 평가했고, EditScore-72B는 74.8%였다. 연구팀은 심사 모델이 무엇을 보느냐가 어떻게 학습됐느냐보다 중요할 수 있다고 본다.
성능, 비용, 학습 데이터
EditAgent는 오픈소스 편집기 Qwen-Image-Edit-2511과 Flux-2-Klein-9B를 벤치마크 3종에서 끌어올렸고, 다른 AI 에이전트 7종보다 나은 성적을 냈다. EdiVal에서는 Qwen 기반 구성이 세 번째 편집 라운드에서 상용 모델 Seedream 4.0과 GPT-Image-1.5를 근소하게 앞섰다. 다만 연산량이 단일 편집기의 약 10배이고, 성능은 연결한 도구에 좌우된다.
에이전트는 검증을 통과한 결과만 남기므로 학습 예시 약 2만 6천 건을 만들었다. 이 데이터로 미세 조정한 편집기는 벤치마크 3종 모두에서 나아졌지만, FLUX가 직접 만든 데이터로 학습하면 오히려 FLUX가 나빠졌다.
Adobe는 6월 Photoshop, Premiere 등 Creative Cloud 앱에 AI 에이전트를 공개 베타로 넣었다. 사용자가 원하는 바를 설명하면 에이전트가 단계를 처리한다. Black Forest Labs는 논문에서 쓴 범용 모델을 이후 새 모델로 교체했다. 새 Flux 3 Image Klein은 56억 개 매개변수로 Flux 2 Klein보다 작지만, 회사 내부 시험에서 다른 오픈 모델 전부와 상용 Flux 2 Pro보다 높은 점수를 받았다고 한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.