지식그래프 질의응답(KGQA) 에이전트를 학습할 때 경로 전체가 아니라 개별 연산에 보상을 매기는 방법 OpCredit이 논문으로 공개됐다. 2026년 10월 15일 arXiv에 올라온 논문 「OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering」이 제안했다.
연구진은 ComplexWebQuestions, WebQSP, GrailQA 세 데이터셋에서 기반 모델 세 가지로 실험해 KGQA 성능이 일관되게 좋아졌다고 밝혔다. 추론 단계에서는 학습된 정책과 표준 지식그래프 인터페이스만 쓴다고 한다.
경로 단위 보상의 문제
에이전트형 KGQA는 실행 가능한 연산을 순서대로 이어 가며 답을 찾는다. 연구진은 경로 단위로 보상을 주면 각 연산이 얼마나 기여했는지 가려진다고 지적했다. 성공한 경로에도 쓸모없는 연산이 섞여 있을 수 있고, 실패한 경로에도 유용한 연산이 있을 수 있기 때문이다.
두 가지 보상 신호
OpCredit은 연산 이후에 나타난 최종 결과 보상과 연산 직후의 상태 변화 보상을 합친다. 이 두 신호가 서로 보완하며 해당 결정 구간의 학습을 함께 감독한다는 것이 연구진의 설명이다.
- Branch Outcome Credit(BOC): 일반 롤아웃을 다시 활용해, 탐색 맥락이 같을 때 서로 다른 연산 뒤에 관측된 최종 과제 보상을 비교한다.
- Frontier Transition Credit(FTC): 연산이 일으킨 변화를 정답 조건부 프런티어 포텐셜의 증감으로 잰다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.