에이전트 플래닝

쉽게 말하면, 에이전트 플래닝은 AI가 무엇을 어떤 순서로 할지 미리 정하는 능력이다. 큰 목표를 작은 일로 나누고, 각 단계의 결과를 보면서 계획을 고쳐 가며 여러 단계로 이어지는 복잡한 작업을 처리하게 한다.

1. 개요

에이전트 플래닝(agent planning)은 AI 에이전트가 목표를 이루기 위해 행동의 순서를 정하는 과정이다. 대규모 언어 모델(LLM)과 최근의 에이전트 시스템에서 플래닝은 작업 분해, 행동 순서에 대한 추론, 가능한 전략의 평가, 환경 피드백에 따른 계획 수정을 포함한다. 플래닝은 자율 에이전트를 단순한 질의응답 시스템과 구분하는 핵심 능력이다. 플래닝이 있어야 조율, 도구 사용, 장기적 의사결정이 필요한 복잡한 다단계 작업을 다룰 수 있다.

2. 배경

플래닝은 인공지능 분야가 시작된 때부터 핵심 주제였다. 1971년의 STRIPS(Stanford Research Institute Problem Solver)와 이후 등장한 플래닝 도메인 정의 언어(PDDL) 같은 고전적 형식론은 상태, 행동, 선행 조건, 효과를 정의하는 엄밀한 틀을 제공했다. 이 체계는 체계적인 탐색 알고리즘으로 계획의 정확성과 최적성까지 보장할 수 있었지만, 문제를 형식 표현으로 완전히 명시해야 했다. 자연어 입력이나 모호한 현실 과제는 다루지 못했다.

대규모 언어 모델의 등장은 플래닝 연구에 새로운 장을 열었다. GPT-4, Claude와 오픈소스 대안은 자연어로 쓴 목표를 이해하고, 복잡한 작업을 나누고, 행동 순서를 추론하고, 형식 명세 없이 계획을 만들 수 있다. 다만 LLM 기반 플래닝에는 고유한 문제가 있다. 생성된 계획에 환각으로 만들어진 단계가 들어가거나, 제약을 어기거나, 장기적 결과를 고려하지 못할 수 있다. 언어 모델 플래닝의 유연성과 고전적 접근의 엄밀함 사이의 긴장은 현대 에이전트 연구의 주요 주제가 되었다.

3. 고전적 AI 플래닝

고전적 플래닝은 잘 정의된 형식 틀 안에서 작동한다. 플래닝 문제는 보통 초기 상태, 목표 상태, 선행 조건과 효과를 가진 행동 집합으로 정해진다. 플래너는 가능한 행동 순서들의 공간을 탐색해 초기 상태를 목표 상태로 바꾸는 순서를 찾는다.

3.1. STRIPS와 PDDL

1971년 리처드 파이크스(Richard Fikes)와 닐스 닐슨(Nils Nilsson)이 소개한 STRIPS는 최초의 자동 플래닝 시스템 가운데 하나다. STRIPS는 세계를 1차 논리 술어의 집합으로 표현하고, 선행 조건과 추가 목록, 삭제 목록을 가진 연산자를 정의했다. 1998년 드루 맥더모트(Drew McDermott)가 국제 플래닝 대회를 위해 소개한 플래닝 도메인 정의 언어(PDDL)는 STRIPS 형식론을 일반화했고, 플래닝 문제를 기술하는 표준 언어가 되었다. PDDL은 타입이 있는 객체, 조건부 효과, 수치 플루언트, 시간 제약 등 복잡한 영역을 모델링하는 표현 기능을 지원한다.^2,3

고전적 플래너는 PDDL로 쓴 문제를 받아 탐색 알고리즘으로 유효하거나 최적인 행동 순서를 찾는다. 순방향 상태 공간 탐색, 역방향 탐색, 부분 순서 플래닝, FF나 Fast Downward 같은 휴리스틱 탐색 방법을 쓴다. 이 방식의 강점은 완전성과 정확성의 보장이다. 유효한 계획이 존재하면 건전한(sound) 플래너는 그것을 찾아낸다.

3.2. 계층적 작업 망 플래닝

계층적 작업 망(HTN) 플래닝은 작업 계층을 도입해 고전적 플래닝을 확장한다. HTN 플래너는 기본 행동만 탐색하지 않고, 미리 정의된 분해 방법으로 추상적(복합) 작업을 하위 작업으로 나눈다. 이 재귀적 분해는 모든 작업이 바로 실행할 수 있는 기본 행동으로 줄어들 때까지 계속된다.

HTN 플래닝은 복잡한 영역에서 여러 장점이 있다. 계층 구조는 작업을 어떻게 수행해야 하는지에 대한 영역 지식을 담아, 평면적 플래닝보다 탐색 공간을 줄인다. 작업 계층은 재사용과 조합이 가능해 로봇공학, 물류, 게임 AI, 시뮬레이션 환경에서 효과적이다. 다만 작업 계층과 분해 방법을 사람이 설계해야 하므로 새로운 영역에 적용하기 어렵다는 한계가 있다.

3.3. 고전 플래닝의 한계

고전적 플래닝 접근에는 현대 AI 응용에서 잘 알려진 한계가 있다.

이런 한계 때문에 고전 플래너를 언어 모델과 결합하는 연구가 시작되었다. 언어 모델은 자연어를 다루고, 상식 지식을 활용하며, 부분적으로만 관측되거나 느슨하게 명시된 환경에서도 동작할 수 있다.

4. LLM 기반 플래닝

LLM 기반 플래닝은 대규모 언어 모델을 계획을 만들고, 평가하고, 고치는 핵심 추론 엔진으로 쓴다. 형식으로 정의된 상태 공간을 탐색하는 대신, 사전 학습된 언어 모델에 담긴 방대한 지식과 추론 능력을 활용한다.

Huang 등이 2024년 발표한 서베이 「Understanding the Planning of LLM Agents」는 LLM 에이전트 플래닝의 연구를 다섯 범주로 나눴다. 작업 분해, 계획 선택, 외부 플래너 통합, 반성, 메모리가 그 범주다. 이 범주들은 연구자들이 언어 모델 에이전트의 플래닝 능력을 높이려고 개발한 주요 전략을 담고 있다.¹⁰

2025년 Aghzal, Plaku, Stein, Yao가 정리한 자동 플래닝용 LLM 서베이는 이 분야를 두 계열로 나눴다. 한 계열은 분해, 정제, 탐색, 파인튜닝을 거쳐 LLM을 단독 플래너로 쓴다. 다른 계열은 LLM을 전통적 플래너와 결합한다. 자연어를 형식 명세로 바꾸거나, 상식적 휴리스틱을 제공하거나, 계획 비평자 역할을 맡는다. 이 서베이는 LLM이 장기 과제의 단독 플래너로는 적합하지 않다고 결론짓고, 신경-기호(neuro-symbolic) 방법을 균형 있게 결합하자고 주장했다.¹¹

4.1. 작업 분해

작업 분해는 복잡한 목표를 더 작고 다루기 쉬운 하위 작업으로 나누는 과정이다. 장기적이고 다단계인 문제에서 LLM이 겪는 어려움을 직접 다루기 때문에, LLM 기반 플래닝에서 가장 많이 연구된 측면이라 할 만하다.

4.1.1. 분해 우선 접근

분해 우선 방식에서 에이전트는 실행을 시작하기 전에 작업을 필요한 모든 하위 작업으로 나눠 완전한 계획을 만든다.

Plan-and-Solve 프롬프팅(Wang 등, 2023)은 ACL 2023에서 발표되었으며, 제로샷 사고의 연쇄 프롬프팅의 한계를 다룬다. 모델에 '단계별로 생각하라'고만 묻는 대신, 먼저 작업을 하위 작업으로 나누는 계획을 세우고 그 계획에 따라 각 하위 작업을 수행하도록 지시한다. GPT-3에서 한 실험은 Plan-and-Solve가 산술, 상식, 기호 추론 데이터셋 전반에서 제로샷 사고의 연쇄를 꾸준히 앞섰다고 보여 주었다. 이 두 단계 접근은 표준 사고의 연쇄 추론에서 흔한 단계 누락 오류를 줄인다.⁴

HuggingGPT(Shen 등, 2023)는 NeurIPS 2023에서 발표되었으며, 여러 모델을 조율하는 설정에서 작업 분해를 보여 준다. 사용자 요청이 들어오면 HuggingGPT는 ChatGPT로 요청을 하위 작업으로 나누고, 각 하위 작업에 맞는 전문 모델을 Hugging Face에서 고른 뒤, 그 모델들을 실행하고 결과를 종합한다. 예를 들어 '이미지를 자세히 설명하라'는 요청은 이미지 캡션 생성, 객체 탐지, 이미지 분류, 시각 질의응답 하위 작업으로 나뉘고, 각 작업을 전담 모델이 맡을 수 있다. HuggingGPT는 하위 작업 사이의 의존 관계를 명시적으로 관리해, 선행 작업이 끝난 뒤에 후행 작업이 시작되도록 한다.⁵

Least-to-Most 프롬프팅(Zhou 등, 2023)은 ICLR 2023에서 발표되었으며, 가장 단순한 것부터 쌓아 올라가는 방식을 택한다. 이 방법은 먼저 복잡한 문제를 더 단순한 하위 문제들로 나누고, 이를 순서대로 풀며, 각 해답은 앞서 푼 하위 문제의 답 위에 쌓인다. 일반화에 특히 효과적이어서, 프롬프트에 든 예시보다 더 어려운 문제도 풀 수 있게 한다. 이는 표준 사고의 연쇄 프롬프팅의 핵심 한계를 넘어서는 것이다.¹²

4.1.2. 교차적 분해와 실행

교차 방식에서는 분해와 실행이 번갈아 일어난다. 에이전트는 다음 하위 작업 하나만 나누고, 실행한 뒤 결과를 관찰하고, 갱신된 상태를 바탕으로 그다음 하위 작업을 정한다.

ReAct(Yao 등, 2023)는 ICLR 2023에서 발표되었으며, 언어 모델에서 추론과 행동을 결합한다. ReAct 에이전트는 생각(Thought), 행동(Action), 관찰(Observation)의 순환으로 움직인다. 에이전트는 다음에 할 일을 추론하고(생각), 도구 호출이나 데이터베이스 질의 같은 행동을 하고(행동), 결과를 관찰한 뒤(관찰), 그 정보를 다음 추론 단계에 쓴다. 추론과 환경 상호작용을 번갈아 하므로 ReAct 에이전트는 실시간 피드백에 따라 계획을 바꿀 수 있고, 고정된 플래너보다 강건하다.

ReAct는 HotpotQA와 ALFWorld를 포함한 언어 추론 및 의사결정 벤치마크에서 여러 기준선을 앞섰다. 상호작용형인 ALFWorld와 WebShop 벤치마크에서는 모방 학습과 강화 학습 방법에 비해 절대 성공률이 각각 34%, 10% 높아졌다. 이때 문맥 내 예시는 하나 또는 둘만 썼다.⁶

ADaPT(Prasad 등, 2024)는 NAACL 2024에서 발표되었으며, 필요할 때만 분해하고 계획하는 방식을 소개한다. 모든 하위 작업을 미리 나누는 대신, LLM이 직접 실행하지 못할 때에만 하위 작업을 분해한다. 하위 작업이 너무 복잡하다고 드러나면 에이전트는 그것을 더 세밀한 단계로 재귀적으로 나눈다. 이 적응형 방식은 작업 복잡도와 모델 능력에 맞춰 분해의 세밀함을 조절한다. 적응형이 아닌 기준선과 비교해 성공률이 ALFWorld에서 최대 28.3%, WebShop에서 27%, TextCraft에서 33% 향상되었다.¹³

DEPS(Describe, Explain, Plan, and Select)(Zhu 등, 2023)는 NeurIPS 2023에서 발표되었으며, Minecraft 같은 열린 환경의 플래닝을 다룬다. DEPS는 에이전트가 현재 실행 상태를 설명하고, 실패 원인을 설명하고, 계획을 고치고, 병렬 하위 목표 가운데 완료 난이도를 추정하는 학습된 목표 선택기로 고르게 한다. 이로써 계획 실행 중의 오류 수정이 개선된다. DEPS는 Minecraft 과제 70개 이상을 완수한 최초의 제로샷 다중 과제 에이전트였으며, 이전 방법보다 성능을 거의 두 배로 높였다.¹⁴

4.2. 계획 선택과 탐색 전략

단일 계획을 만드는 대신, 계획 선택 방법은 LLM에게 여러 후보 계획을 만들게 하고, 탐색이나 평가 알고리즘으로 가장 좋은 것을 고른다.

4.2.1. 생각의 나무

생각의 나무(Tree of Thoughts, ToT)(Yao 등, 2023)는 NeurIPS 2023에서 발표되었으며, 여러 추론 경로를 탐색하도록 해 사고의 연쇄 프롬프팅을 일반화한다. 사고의 연쇄가 하나의 선형 생각 순서를 만든다면, ToT는 추론 과정을 나무 구조로 짠다. 각 단계에서 모델은 여러 후보 '생각'(중간 추론 단계)을 만들고, 휴리스틱으로 평가한 뒤, 너비 우선이나 깊이 우선 같은 탐색 알고리즘으로 가장 유망한 가지를 살핀다. 휴리스틱은 LLM이 만든 것일 수도 있다. ToT는 되추적(backtracking)도 지원한다. 가지가 소득이 없으면 탐색은 이전 상태로 돌아가 다른 경로를 시도할 수 있다.

ToT는 24 게임(수학적 추론), 창의적 글쓰기, 미니 크로스워드 등 상당한 계획이 필요한 과제에서 성능을 크게 높였다. 24 게임에서 ToT는 74%의 성공률에 이르렀지만, 사고의 연쇄 프롬프팅을 쓴 GPT-4는 과제의 4%만 풀었다. 이 틀은 네 가지 설계 질문에 답하도록 요구한다. 추론을 어떤 사고 단계로 나눌지, 후보 생각을 어떻게 만들지, 상태를 어떻게 평가할지, 어떤 탐색 알고리즘을 쓸지다.⁷

4.2.2. 생각의 그래프

생각의 그래프(Graph of Thoughts, GoT)(Besta 등, 2024)는 AAAI 2024에서 발표되었으며, 트리 구조를 임의의 그래프로 확장한다. GoT에서는 LLM이 만든 개별 생각이 그래프의 꼭짓점이 되고, 간선은 생각 사이의 의존 관계를 나타낸다. 이 구조로 트리로는 표현할 수 없는 연산이 가능해진다. 여러 생각을 하나의 종합된 생각으로 합치거나, 나중의 생각이 앞선 생각을 다듬는 피드백 고리를 만드는 식이다. GoT는 정렬 품질을 Tree of Thoughts보다 62% 높이면서 비용은 31% 넘게 줄였다.¹⁵

4.2.3. 생각의 알고리즘

생각의 알고리즘(Algorithm of Thoughts, AoT)(Sel 등, 2024)은 ICML 2024에서 발표되었으며, 깊이 우선이나 너비 우선 탐색 같은 알고리즘적 탐색 행동을 문맥 내 알고리즘 예시로 단일 프롬프트 안에 직접 넣는다. 외부에서 여러 번의 모델 호출로 탐색을 조율하는 방식과는 다르다. 탐색이 한두 번의 질의 안에서 펼쳐지므로, AoT는 ToT 같은 외부 트리 탐색의 비용을 올리는 멈춤, 재시작, 프롬프트 반복을 피한다. 저자들은 AoT가 단일 질의 프롬프팅과 여러 질의를 쓰는 트리 탐색 전략을 모두 앞서면서 토큰을 훨씬 적게 쓴다고 보고했다. 알고리즘으로 모델을 이끌면 프롬프트에 영감을 준 알고리즘 자체를 능가할 수 있다고도 관찰했다. AoT는 이후 AoT+로 확장되었다(한계와 열린 과제 절 참고).¹⁶

4.3. 외부 플래너 연동

세 번째 접근은 LLM을 외부 플래닝 시스템과 결합해 두 쪽의 강점을 살린다. LLM은 자연어 이해, 상식 추론, 문제 정식화를 맡고, 외부 플래너는 엄밀한 탐색과 정확성 보장을 맡는다.

LLM+P(Liu 등, 2023)는 고전적 플래너를 LLM과 통합한 최초의 틀이다. LLM+P는 플래닝 문제의 자연어 설명을 받아 LLM으로 PDDL 명세로 바꾸고, PDDL 문제를 고전 플래너에 넘긴 뒤, 플래너의 출력을 다시 자연어로 옮긴다. 벤치마크 평가에서 LLM+P는 대부분의 문제에서 최적해를 찾았지만, 단독으로 쓴 LLM은 대다수 시험 사례에서 실행 가능한 계획조차 만들지 못했다.⁸

Google Research의 SayCan(Ahn 등, 2022)은 LLM 플래닝을 로봇의 실행 가능성(affordance)에 연결한다. 이 시스템은 후보 행동마다 두 점수를 곱한다. 'Say' 점수는 LLM이 추정한 목표 기여도, 즉 그 행동이 목표에 얼마나 도움이 되는지이고, 'Can' 점수는 학습된 실행 가능성 함수가 추정한 현재 로봇 상태에서의 실행 가능성이다. PaLM 언어 모델과 실행 가능성 연결을 함께 쓴 SayCan은 실제 주방에서 지시 101개를 대상으로 올바른 기술의 순서를 84%의 확률로 골랐고, 74%의 확률로 성공적으로 실행했다. 실행 가능성 연결 없이 같은 모델을 쓴 경우에 비해 계획 성공률이 약 50% 높았다. SayCanPay(Hazra 등, 2023)는 장기 보상을 고려하는 'Pay' 요소를 더해, SayCan의 탐욕적이고 근시안적인 행동 선택 문제를 다뤘다.^17,18

Inner Monologue(Huang 등, 2023)는 CoRL 2023에서 발표되었으며, 로봇을 위한 닫힌 루프의 언어 기반 플래닝을 소개한다. Inner Monologue는 계획을 한 번만 만드는 대신, 환경 피드백(성공 판정, 물체 인식, 장면 설명, 사람의 교정)을 LLM의 문맥에 계속 넣는다. 그렇게 해서 변화하는 상황에 맞춰 다시 계획할 수 있는 지속적인 내부 대화를 만든다. 이 접근은 탁상 조작과 이동 조작 과제에서 지시 완수율을 크게 높였다.¹⁹

LLM-Modulo(Kambhampati 등, 2024)는 ICML 2024 스포트라이트로 발표된 입장 논문으로, 생성-검사-비평 구조를 제시한다. LLM이 후보 계획을 내면 외부 모델 기반 검증기 묶음(PDDL용 VAL 계획 검증기, 영역 특화 비평기, 소프트(soft) 비평기 등)이 그것을 점검하고 수정을 위한 피드백을 돌려준다. 저자들은 현재의 LLM이 스스로는 신뢰성 있게 계획할 수 없지만, 'LLM-Modulo' 루프 안에서는 가치가 있다고 주장한다. 건전성은 모델이 아니라 외부 비평기가 보장하며, 새 비평기는 언제든 추가할 수 있어 틀의 확장이 쉽다. 2024년의 한 사례 연구는 이 접근을 TravelPlanner 벤치마크에 적용했다.⁹

5. 추론 전략

에이전트의 플래닝 능력을 직접 높이는 프롬프팅과 추론 전략이 여러 가지 개발되었다.

5.1. 사고의 연쇄 추론

사고의 연쇄 프롬프팅(Wei 등, 2022)은 LLM이 최종 답에 이르기 전에 중간 추론 단계를 생성하도록 유도한다. 플래닝 방법 자체는 아니지만, 모델이 해답으로 곧장 뛰어들기보다 다단계 문제를 차근차근 추론하게 하므로 대부분의 LLM 기반 플래닝 접근의 바탕이 된다. 단계별 추론을 보여 주는 소수의 예시(퓨샷)나 '단계별로 생각해 보자' 같은 제로샷 프롬프트로 이끌어 낼 수 있다.²⁰

5.2. ReAct와 변형

ReAct 프레임워크는 생각-행동-관찰 순환을 에이전트 플래닝의 표준 패턴으로 확립했다. 이를 바탕으로 여러 변형이 나왔다.⁶

ReWOO(Reasoning WithOut Observation)(Xu 등, 2023)는 계획 단계를 실행 단계와 완전히 분리한다. 계획자(Planner) 모듈이 서로 의존하는 단계들의 완전한 청사진을 만들고, 작업자(Worker) 모듈이 각 단계의 근거를 외부 도구에서 가져오며, 해결자(Solver) 모듈이 모든 계획과 근거를 종합해 최종 답을 만든다. 추론과 관찰을 분리한 결과, ReWOO는 HotpotQA에서 ReAct 같은 교차 방식에 비해 토큰 효율 5배, 정확도 4% 향상을 이뤘다.²¹

5.3. 추론 모델

별도의 흐름은 모델의 내부 추론 능력을 강화하는 학습에 초점을 맞춘다. OpenAI의 o1 모델(2024년 9월 공개)과 후속작 o3(2025년 초 공개)는 '시뮬레이션된 추론'이라는 기법을 쓴다. 답을 내기 전에 긴 비공개 사고의 연쇄를 생성하는 방식이다. 이 모델들은 문제를 더 오래 생각하며, 복잡한 추론과 플래닝 과제에서 성능이 높아졌다. AIME 2024 수학 벤치마크에서 o3는 91.6%의 정확도로 o1의 74.3%를 앞섰다. o3는 도구 사용, 웹 검색, 코드 실행을 추론 과정에 통합해 내부 추론과 에이전트 플래닝의 경계를 흐린다.

추론 모델의 플래닝 성능 향상은 고전 벤치마크에서 직접 측정되었다. Valmeekam 등이 2025년 Transactions on Machine Learning Research에 실은 체계적 평가는 o1을 PlanBench로 시험했다. 600개의 Blocksworld 사례에서 o1-preview는 제로샷 성공률 97.8%를, Llama 3.1 405B는 62.6%를, GPT-4는 34.6%를 기록했다. 그러나 난독화되거나 더 긴 호흡의 변형에서는 성능이 급격히 떨어졌고, 비용과 보장 측면에서는 여전히 고전적 플래너에 못 미쳤다. 이전 LLM보다 크게 나아졌지만 어려운 사례에서 실패가 이어지는 패턴은 추론 모델 문헌 전반에서 되풀이된다.^23,24

6. 계획 정제와 검증

초기 계획을 만드는 것은 과제의 일부일 뿐이다. 에이전트는 계획이 올바른지 검증하고, 오류나 예기치 않은 상황을 만나면 계획을 다듬어야 한다.

6.1. 자기 성찰

Reflexion(Shinn 등, 2023)은 NeurIPS 2023에서 발표되었으며, 언어 에이전트를 위한 언어적 강화 학습을 도입한다. Reflexion은 모델 가중치를 갱신하지 않는다. 대신 실패한 시도 뒤에 언어적 자기 성찰을 생성해 에피소드 메모리 버퍼에 저장한다. 다음 시도에서 에이전트는 저장된 성찰을 추가 문맥으로 써서 이전 실수를 피한다. Reflexion은 HumanEval 코딩 벤치마크에서 pass@1 정확도 91%를 달성해 GPT-4의 80%를 넘었다. 12회 반복 시도 안에서는 ALFWorld 성능을 강력한 기준선보다 절대 값 22% 높였다.²²

6.2. 닫힌 루프 피드백

닫힌 루프 플래닝은 각 행동 뒤에 환경 피드백을 반영해 진행을 확인하고, 필요하면 재계획을 시작한다. 중간 피드백 없이 전체 행동 순서를 만들어 실행하는 열린 루프 플래닝과 대비된다.

AdaPlanner(Sun 등, 2024)는 불확실성에 따라 계획의 세분화 수준을 동적으로 조정한다. 에이전트가 확신할 때는 열린 루프 계획(피드백을 기다리지 않고 긴 행동 순서)을 실행한다. 불확실성이 높으면 행동마다 관찰을 붙이는 닫힌 루프의 ReAct식 미세 단계로 바꾼다. 이 적응형 방식은 효율성과 견고성의 균형을 맞춘다.²⁵

CART(Chen 등, 2025)는 불완전한 정보가 있는 환경에서 적응형 재계획으로 LLM 기반 플래닝 에이전트를 이끄는, 추적 가능한 제로샷 플래닝 틀이다. 재계획 사건이 발생하면 CART는 과거 계획 궤적을 활용해 처음부터 다시 시작하지 않고, 합리적인 노드에서 빠르게 계획을 재개하도록 돕는다.

6.3. 계획 검증

계획 검증은 실행 전에 생성된 계획이 유효한지 확인한다. 어떤 접근은 LLM이 스스로 계획을 비판하고 검증하게 하고, 다른 접근은 형식적 검증 방법을 쓴다.

LLM+P 틀에서는 고전 플래너가 계획의 유효성을 본질적으로 검증한다. 모든 선행 조건을 만족하고 목표 상태에 이르는 행동 순서만 반환하기 때문이다. LLM 계획 생성과 형식 검증을 결합한 하이브리드 접근은 환각으로 LLM이 만들 수 있는 선행 조건 누락, 제약 위반, 불가능한 행동 순서를 잡아낼 수 있다. LLM-Modulo 틀은 모든 후보 계획을 외부 검증기에 통과시키고, 통과할 때까지 피드백을 모델에 돌려주는 방식으로 이 아이디어를 일반화한다.^8,9

7. 체화 환경과 열린 세계 플래닝

체화된 환경(로보틱스, 가상 세계)의 플래닝은 독특한 난제가 있다. 에이전트는 행동이 실제 결과를 낳고 상태가 연속적으로 바뀌는 물리적 또는 시뮬레이션 환경과 상호작용해야 하기 때문이다.

7.1. Voyager

Voyager(Wang 등, 2023)는 Minecraft를 위한 LLM 기반 체화 평생 학습 에이전트다. 세 요소를 결합한다. 탐험을 최대화하도록 점점 복잡한 과제를 제안하는 자동 커리큘럼, 성공적으로 실행한 코드 기반 기술을 설명으로 색인해 비슷한 상황에서 찾아 쓰는 기술 라이브러리, 체화 제어용 실행 가능한 코드를 만드는 반복 프롬프팅 메커니즘이다.

Voyager는 기존 최고 수준의 방법에 비해 고유 아이템을 3.3배 더 얻었고, 2.3배 더 먼 거리를 이동했으며, 기술 트리의 핵심 이정표를 최대 15.3배 빠르게 달성했다. 기술 라이브러리는 구성적이고 평생에 걸친 학습을 가능하게 한다. 초기에 개발한 기술을 찾아 조합해 새 환경의 새 과제를 풀 수 있다.²⁶

7.2. 로봇 작업 플래닝

실제 로봇 공학에서는 플래닝이 물리적 제약, 센서 잡음, 안전 요건을 고려해야 한다. SayCan, SayCanPay, Inner Monologue 같은 시스템은 LLM이 만든 계획을 로봇의 물리적 능력과 현재 상태에 근거하도록 묶는다. 추상적으로 언어 모델이 제안할 수 있는 것과 실제로 실행 가능한 것 사이의 간극을 메우기 위해서다. LLM은 로봇의 능력과 주변 환경을 고려하면 물리적으로 불가능하거나 안전하지 않은 행동을 제안할 수 있으므로, 이 근거 부여는 필수적이다.

8. 프레임워크 구현

개발자가 계획 능력을 갖춘 에이전트를 만들 수 있도록, 여러 최신 프레임워크가 에이전트 플래닝 구조를 구현했다.

8.1. LangGraph

LangGraph는 LangChain 팀이 개발했으며, 그래프 기반 구조로 에이전트 워크플로를 정의한다. 개발자는 선형 체인 대신 노드, 간선, 조건부 라우팅을 가진 상태 기계를 정의한다. LangGraph는 계획 후 실행(plan-and-execute) 패턴을 지원한다. 계획 LLM이 여러 단계의 계획을 만들고, 별도의 실행 에이전트가 각 단계를 수행한다. 그래프 구조는 순환(반복적 정제), 조건부 분기(적응형 플래닝), 상태 지속(장기 실행 작업)을 자연스럽게 지원한다. LinkedIn, Uber, Klarna 등 기업의 운영 환경에서도 쓰인다.

이 분리는 비용을 줄인다. 비싼 계획 LLM을 덜 자주 호출하기 때문이다. 명시적 사전 계획으로 작업 완수율을 높이고, 하위 작업이 매 행동 뒤 계획자에게 묻지 않고 진행하므로 실행도 빨라진다.

8.2. AutoGen

AutoGen은 원래 Microsoft Research가 개발했으며, 역할이 다른 에이전트들이 협력해 과제를 푸는 다중 에이전트 대화를 지원한다. 2025년 10월 Microsoft는 AutoGen을 Semantic Kernel과 합쳐 통합된 Microsoft Agent Framework를 만들었다. 한 에이전트는 과제를 나누고 작업을 조율하는 계획자가 되고, 다른 에이전트들은 특정 도구나 지식을 쓰는 실행자가 된다. 에이전트들은 구조화된 대화로 계획을 토론하고 해법을 비판하며 접근 방식을 다듬는다. 통합 프레임워크는 2025년 10월 1일 공개 미리 보기로 처음 배포되었고, 2026년 4월에는 .NET과 Python용 운영 준비 완료 1.0 버전이 나왔다. AutoGen과 Semantic Kernel은 유지보수 모드로 넘어갔다.²⁷

8.3. CrewAI

CrewAI는 역할 기반의 협력형 AI 에이전트를 조율하는 오픈소스 프레임워크다. 플래닝을 켜면 에이전트가 과제를 시작하기 전에 단계별 워크플로를 만들고, 이 공유 계획을 각 에이전트의 문맥에 넣어 모든 참여자가 전체 구조를 이해하게 한다. 역할 전문화, 과제 위임, 에이전트 사이의 구조화된 인계로 플래닝을 지원한다. 에이전트들이 서로의 작업을 검토하고 피드백을 주는 협력적 플래닝 패턴을 강조한다.

8.4. 모델 컨텍스트 프로토콜

Anthropic의 모델 컨텍스트 프로토콜(MCP)은 AI 에이전트를 외부 도구와 데이터 소스에 연결하는 표준 인터페이스다. MCP 자체는 플래닝 프레임워크가 아니지만, 플래닝 에이전트가 계획 실행 중 외부 시스템과 상호작용하는 기반을 제공한다. 2025년 12월 Anthropic은 MCP를 Linux Foundation 산하 지정 기금(directed fund)인 Agentic AI Foundation(AAIF)에 기증했다. AAIF는 Anthropic, Block, OpenAI가 공동 설립했으며, MCP는 Block의 goose 에이전트, OpenAI의 AGENTS.md 명세와 함께 기여되었다.^28,29

공개된 MCP 서버는 1만 개를 넘었고, ChatGPT, Gemini, Microsoft Copilot, Cursor 등 제품이 이를 채택했다. 출시 당시 약 200만 건이던 월간 설치 수는 16개월 만에 약 9,700만 건으로 늘었다. 이로써 MCP는 에이전트 플래닝 시스템의 기반 계층이 되었다.²⁸

9. 다중 에이전트 플래닝

멀티 에이전트 플래닝은 여러 AI 에이전트가 공유된 목표나 개별 목표를 이루려고 협력하거나(또는 경쟁하며) 참여하는 것을 말한다. 다중 에이전트 구조는 전문화, 병렬 처리, 토론을 통해 계획의 품질을 높일 수 있다.

9.1. 역할 기반 협업

역할 기반 다중 에이전트 시스템에서는 서로 다른 에이전트에 계획자, 연구자, 비평자, 실행자 같은 뚜렷한 역할을 맡기고, 구조화된 소통 프로토콜로 협력하게 한다. 예를 들어 계획 에이전트가 초기 계획을 만들면 비평 에이전트가 잠재적 문제를 찾고, 계획자는 그 비판을 바탕으로 계획을 고친다. 이는 사람 팀이 흔히 계획 책임을 나누는 방식과 닮아 있다.

9.2. 토론과 합의

일부 다중 에이전트 접근은 토론으로 계획의 품질을 높인다. 여러 에이전트가 독립적으로 계획을 만든 뒤, 대안을 평가하고 합의에 이르기 위해 구조화된 토론을 한다. 서로 다른 LLM 출력의 다양성을 활용해 더 넓은 계획 공간을 탐색하고, 적대적 비판으로 약점을 찾아낸다.

9.3. 계층적 다중 에이전트 플래닝

계층적 다중 에이전트 시스템에서는 상위 계획 에이전트가 과제를 나누고 전문화된 실행 에이전트에 하위 작업을 위임한다. 이는 계층적 작업 망(HTN) 플래닝의 구조를 닮았지만, 형식적 분해 방법 대신 에이전트 사이의 소통으로 구현된다. HuggingGPT의 구조가 이 패턴의 전형이다. ChatGPT가 중앙 계획자로서 사용자 요청을 나누고, Hugging Face의 전문 모델에 하위 작업을 위임한다.⁵

10. 벤치마크와 평가

플래닝 능력을 평가하려면 다단계 추론, 제약 만족, 실제 적용 가능성을 시험하는 벤치마크가 필요하다.

TravelPlanner(Xie 등, 2024)는 ICML 2024 스포트라이트 논문으로 발표되었으며, 1,225개의 정교하게 큐레이션된 여행 계획 의도와 참조 계획을 담는다. 에이전트는 다양한 도구로 정보를 모으고, 예산과 시간, 선호 같은 여러 제약을 동시에 만족하며 결정해야 한다. 원 연구에서 GPT-4의 최종 통과율은 0.6%에 그쳤다. 이후 o1-preview 같은 추론 모델은 완전한 정보가 주어졌을 때 약 10%까지 올랐다. 이 벤치마크는 여러 제약이 얽힌 현실 플래닝에서 가장 뛰어난 LLM도 어려움을 겪는다는 점을 드러냈다.^30,31

2025년 Hao 등이 NAACL 2025에서 발표한 틀은 LLM이 각 질의를 충족 가능성(SMT) 문제로 번역하고, 건전하고 완전한 솔버가 풀게 했다. 이 방식으로 TravelPlanner 성공률이 93.9%로 올랐다. 솔버는 충족 불가능한 핵심(unsatisfiable core)을 찾아 불가능한 요청의 이유를 설명했다. 언어 이해와 형식 검증을 짝지으면 제약이 많은 플래닝의 격차를 크게 줄일 수 있음을 보여 준다.³¹

NATURAL PLAN(Zheng 등, 2024)은 Google DeepMind가 2024년 6월 공개한 벤치마크로, 여행 계획, 회의 계획, 캘린더 일정 세 영역의 현실적인 자연어 플래닝 과제를 담는다. 합성 환경이나 형식 언어 대신 Google Flights, Google Maps, Google Calendar 같은 도구의 출력을 프롬프트에 직접 넣어 모델이 완전한 정보를 갖도록 했다. 그럼에도 주요 모델의 점수는 사람 수준에 한참 못 미쳤다. 여행 계획에서 GPT-4와 Gemini 1.5 Pro의 해결률은 각각 31.1%, 34.8%에 그쳤다. 가장 어려운 10개 도시 사례에서는 시험한 모든 모델이 5% 아래였다. 상호작용하는 제약이 늘어날수록 성능이 급격히 떨어진다.³²

11. 한계와 열린 과제

빠른 진전에도 LLM 기반 플래닝은 몇 가지 근본적 과제에 직면해 있다.

11.1. 계획 속 환각

환각 문제로 LLM은 존재하지 않는 행동, 잘못된 상태 전이, 조작된 도구 출력을 포함하는 계획을 만들 수 있다. 구현된 환경의 플래닝에서는 환경에 없는 물체를 가리키거나 물리 제약을 어기는 행동을 제안하기도 한다. 이런 오류를 잡으려면 형식 검사, 자기 비평, 사람의 감독 같은 계획 검증 장치가 필수적이다.

11.2. 장기 계획

현재 LLM은 여러 단계에 걸친 계획을 요구하는 과제에 어려움을 겪는다. 계획 기간이 길어질수록 오류 확률이 누적되고, 모델이 앞선 문맥이나 제약을 놓칠 수 있다. ICLR 2025 논문 「LLMs Can Plan Only If We Tell Them」(Sel, Jia, Jin)은 GPT-4 같은 고급 모델도 추가 지원 없이는 Blocksworld 같은 표준 플래닝 벤치마크에서 사람 수준에 미치지 못한다고 관찰했다. 그러나 저자들의 개선 방법 AoT+는 LLM이 스스로 장기 계획을 생성하게 해, 최신 수준의 결과를 내고 기존 방법과 사람 기준선을 앞섰다. 병목은 플래닝 능력 자체의 본질적 부재보다 프롬프팅과 탐색 전략에 있었다는 뜻이다.³³

2025년 이 분야에 대한 평가는 그럼에도 LLM이 단독 장기 플래너로는 여전히 부적합하며, 비용 면에서 임의로 나쁜 계획을 낼 수 있다고 경고했다. 그래서 신경-기호 결합에 대한 관심이 계속되고 있다.¹¹

11.3. 제약 만족

실제 플래닝 문제에는 강한 제약(마감, 예산, 물리 법칙)과 약한 제약(선호, 우선순위)이 함께 있다. LLM은 요구 조건이 많이 얽힌 문제에서 특히 제약을 자주 놓친다. TravelPlanner 벤치마크 결과는 최상위 모델도 대다수 시험 사례에서 기본 제약을 어기는 계획을 만든다는 것을 보였다. SMT 기반 TravelPlanner 틀과 LLM-Modulo의 비평기처럼 제약 점검을 형식 솔버에 맡기는 접근은, 검증을 외부화하면 이 실패 양상을 크게 줄일 수 있음을 보였다.^9,30,31

11.4. 계산 비용

여러 추론 경로를 탐색하는 방법(Tree of Thoughts, Graph of Thoughts)이나 정제 주기를 도는 방법(Reflexion)은 LLM 호출이 많아 지연 시간과 비용을 키운다. 계획 품질과 계산 예산의 절충은 활발한 연구 주제다. ReWOO는 토큰 소비를 줄이도록 설계되었고, Algorithm of Thoughts는 외부 호출을 반복하지 않고 탐색 행동을 단일 프롬프트에 담으려는 방식이다.^16,21

11.5. 일반화

한 영역에서 작동하는 계획이 다른 영역에서도 통하지는 않을 수 있다. LLM은 폭넓은 지식을 갖지만, 학습 분포와 다른 새 영역에서는 계획 전략이 취약해질 수 있다. 재사용 가능한 기술 라이브러리를 쌓는 Voyager 같은 평생 학습 에이전트 연구는 플래닝 일반화를 개선하는 한 방향이다.²⁶

11.6. 2025~2026년 동향

2025년과 2026년에 명시적 플래닝은 OpenAI, Google 등의 딥 리서치 에이전트를 규정하는 특징이 되었다. 이 에이전트는 열린 연구 목표를 구조화된 계획으로 나눈 뒤 출처를 찾아 추론한다. 한 서베이는 이를 반응형 단계별 프롬프팅에서, 시행착오 실패를 줄이는 전용 플래닝 단계로의 전환으로 설명했다.¹¹

최신 모델 출시에서도 에이전트 플래닝이 직접 강조되었다. 공급사들은 최신 추론 모델이 복잡한 과제를 독립적인 하위 작업으로 나누고, 도구와 하위 에이전트를 병렬로 실행하며, 몇 시간에 걸친 자율 작업 동안 일관성을 유지할 수 있다고 내세웠다.

연구 쪽에서는 테스트 타임 컴퓨트(추론 시간 컴퓨트) 확장이 플래닝을 위한 보완 수단으로 떠올랐다. 병렬 샘플링과 검증, 순차적 자기 정제, 적응형 '사고' 깊이를 모두 추가 추론 연산을 더 나은 계획과 맞바꾸는 데 쓴다. 다만 효과는 고르지 않았고, 형식 구조가 뚜렷한 문제에서 가장 컸다.

이 노력 전반에 걸친 반복되는 주제는, 가장 신뢰할 만한 장기 플래닝 결과가 여전히 LLM 주도 플래닝과 외부 구조를 짝지을 때 나온다는 점이다. 외부 구조에는 고전 플래너, 형식 솔버, 검증 비평기, 기술 라이브러리가 있다. 순수한 종단간 생성에만 기대는 방식은 그 자리를 대신하지 못했다.^11,31