DocPilot 공개, 4B 소형 모델로 긴 문서 질의응답 에이전트 학습

긴 시각 문서를 읽고 질문에 답하는 에이전트 DocPilot의 논문이 2026-10-15 arXiv에 올라왔고, 코드도 GitHub에 공개됐다. 연구진은 여러 페이지와 형식에 흩어진 근거를 찾아 모으고, 모은 근거로 추론하는 과정을 작은 언어 모델도 학습할 수 있게 만든 프레임워크라고 소개했다. 저장소 주소는 HKUSTDial/DocPilot이다.^1,2

연구진은 MMLongBench-Doc, DocBench, FinRAGBench-V, MADQA 네 벤치마크에서 최상위급 비전 언어 모델을 백본으로 쓴 DocPilot이 뚜렷한 성능 향상을 냈다고 밝혔다. 40억 매개변수의 DocPilot-4B는 훨씬 큰 모델과 견줄 만한 성능을 보였다고 한다. 초록에는 구체적인 점수가 없다.

연구진에 따르면 고성능 비전 언어 모델도 한 번에 처리하면 곳곳에 드문드문 있는 근거를 놓치고, 형식이 다른 정보를 엮어 추론하는 데 어려움을 겪는다. 연구진은 여러 단계로 상호작용하는 기존 문서 에이전트 중에도 미리 정해 둔 작업 흐름이나 거친 단위의 동작에 의존하는 것이 있어, 문서 추론의 유연성과 세밀함이 제한된다고 지적했다.¹

DocPilot은 문서를 원본 페이지 이미지, MinerU로 뽑은 구조화 요소, 페이지 썸네일, 문서 개요로 나타낸다. 이 자료들은 공통 문서·페이지 식별자로 연결돼 넓은 범위에서 세부 근거까지 차례로 접근할 수 있다.

에이전트는 현재 상태에 따라 여섯 동작을 조합한다. 각 관찰 결과는 근거 상태를 갱신하고, 근거가 부족한 답변은 근거 탐색이나 멀티모달 추론 단계로 되돌아간다.²

연구진은 이 능력을 작은 모델에 옮기기 위해 커리큘럼 기반 에이전트 학습을 제안했다. 단일 능력 학습에서 시작해 적응형 조합 단계로 나아가며, 데이터에 근거한 추론 기록과 실행 가능한 상호작용 궤적으로 지도한다.¹

학습에는 DocAgent-Instruct-40K가 쓰인다. 1단계는 추론 기록으로 개별 문서 풀이 능력을 미세 조정하고, 2단계는 전체 상호작용 궤적으로 이 능력들을 상황에 맞게 조합하는 법을 익힌다. 저장소 설명에 따르면 학습 프레임워크는 ms-swift이고, 1단계에는 DocSeeker, HotpotQA, FinQA, ChartQAPro, InfographicVQA가, 2단계에는 LongDocURL, DUDE, MADQA, MMDocRAG가 쓰였다.

Python 3.11 이상이 필요하다. 기본 설치에 문서 전처리용 MinerU가 포함되며, 실행 전에 MinerU 모델을 내려받아 검증해야 한다. CUDA GPU를 권장하고, CPU만 쓰는 환경용 설정도 따로 있다. 모델은 ~/.mineru/models/에 저장돼 재사용된다.

모델 설정은 YAML 파일로 한다. docpilot.example.yaml은 OpenAI 호환 모델에 JSON 형식 동작을 쓰고, docpilot-vllm.yaml은 vLLM으로 서빙한 학습 완료 DocPilot 모델의 동작 태그 형식을 쓴다. 사용자는 엔드포인트 주소, 키, 모델 이름을 채워야 한다. 샘플 노드로 질문을 돌리는 명령, MinerU로 문서를 전처리하는 파이프라인, 질문 파일을 일괄 처리하는 명령이 제공된다. 에이전트 로그는 runs/logs/, 결과 파일은 runs/outputs/, 임시 시각 근거는 runs/.workspace/에 기본으로 저장된다.

React와 FastAPI로 만든 데모도 있다. 대화 기록, 모델·에이전트 선택, 문서 업로드, MinerU 전처리, PDF 보기, 동작 기록, 근거 위치 표시를 지원한다. 기본 에이전트는 DocPilot 파이프라인을 돌리면서 업로드된 PDF를 MinerU로 전처리하고, Chat 에이전트는 선택한 PDF 페이지나 이미지, 텍스트를 멀티모달 OpenAI 호환 모델에 그대로 보낸다. 업로드 파일, OCR 출력, 작업 상태, 대화 기록은 로컬에 남는다.²