LG AI연구원, LLM이 강화학습 입력·출력 설계하는 LOAM 공개

LG AI연구원이 대규모 언어 모델(LLM)에게 강화학습의 관측 모델과 행동 모델을 Python 함수로 직접 만들게 하는 연구 LOAM을 소개했다. 논문 제목은 Designing Observation and Action Models for Efficient Reinforcement Learning with LLMs이다. 연구원은 HumanoidBench의 기본 Locomotion 과제인 stand·walk·run에서 LOAM이 사람이 설계한 FastTD3 기본 환경보다 3배 이상 빠르게 높은 Return에 도달했다고 밝혔다.

이 연구는 7월 서울에서 열린 제43회 ICML 2026(International Conference on Machine Learning)에서 포스터 세션으로 발표됐고, 연구원은 2026년 10월 26일 블로그에 내용을 정리했다. 앞으로 LG Home Robot과 제조 현장 로봇 등 다양한 로봇과 과제로 적용 범위를 넓힐 계획이라고 한다.

LOAM의 작동 방식

LOAM은 시뮬레이터에서 얻을 수 있는 모든 상태 정보(Raw Observation)와 로봇 액추에이터에 전달할 수 있는 모든 제어 명령(Raw Action)이 있는 Raw Environment Space를 에이전트가 쓰는 Agent Space와 분리하고, 둘 사이의 인터페이스를 과제마다 다시 구성한다. 관측 모델은 Raw Observation을 정책 입력용 Agent Observation으로 바꾸고, 행동 모델은 정책이 내놓은 Agent Action을 환경이 실행할 Raw Action으로 바꾼다.

LLM에는 과제의 목표와 종료 조건, 로봇 구조, 각 변수의 의미를 알려 준다. 생성된 모델은 기존 환경을 감싸는 래퍼로 적용하므로 강화 학습 알고리즘은 바꾸지 않아도 된다. 프롬프트는 모듈형이어서 환경이 바뀌면 과제 목표, 로봇 구조, 사용할 수 있는 관측과 행동 설명만 새로 주고 나머지는 그대로 쓴다. 이 정보는 대부분 환경 문서나 API에서 얻을 수 있다고 연구진은 설명했다.

HumanoidBench의 Run 과제에서 LLM은 속도와 방향을 로봇 기준으로 변환하고, 현재 속도와 목표 속도의 차이를 계산하는 식의 특징을 구성했다.

후보를 경쟁시키는 LOAM-Race

LLM 출력은 같은 프롬프트에도 매번 달라서 생성된 모델 구성과 정책 성능에 편차가 생긴다. LOAM-Race는 LLM이 만든 여러 설계 후보를 하나의 학습 과정 안에서 경쟁시켜 이 문제를 다룬다. 후보를 짧게 학습시키고, 현재 성능과 학습 곡선으로 앞으로의 성능을 예측해 가능성이 높은 후보에 다음 학습 구간을 배분한다. 결과를 반영해 모든 후보를 다시 평가하는 과정을 반복한다.

예측에는 Bayesian Ridge Regression을 쓰며 예상 성능과 예측의 불확실성을 함께 반영한다. 그래서 유망하거나 아직 가능성이 충분히 확인되지 않은 후보에는 학습을 집중하고, 성능이 낮고 나아질 가능성도 작은 후보는 최소한의 자원만 쓴다. 후보를 고르기 위한 대규모 학습을 따로 반복하지 않고 일반적인 단일 정책 학습 예산 안에서 탐색과 학습을 끝낸다. 연구진은 같은 방식을 하이퍼파라미터 탐색이나 알고리즘·모델 구조 비교에도 적용할 수 있어 범용 자원 배분 방법으로 확장할 수 있다고 설명했다.

실험 결과와 한계

모든 실험에는 같은 강화학습 알고리즘 FastTD3를 썼고, 비교 대상은 사람이 설계한 FastTD3 기본 환경과 LESR이다. HumanoidBench는 이동, 정적 조작, 동적 조작 3개 범주 12개 과제로 평가했다. 대부분의 과제에서 LOAM이 두 방법보다 학습 속도가 빠르거나 최종 성능이 높았다. Cube와 Insert_small 과제는 LLM이 만든 설계의 품질 편차가 컸는데, LOAM-Race가 유망한 후보를 골라 더 안정적으로 높은 최종 성능에 이르렀다.

Isaac Lab에서는 Franka 로봇팔의 Lift-Cube와 Open-Drawer, Allegro Hand의 Repose-Cube 등 조작 과제 3개를 평가했다. Franka 두 과제에서는 LOAM이 기준 방법보다 빠르게 학습했다. 원래 관측이 1,100차원을 넘는 Repose-Cube에서는 LOAM-Race의 최종 성능이 가장 높았다.

한계도 있다. LOAM-Race는 여러 후보에 예산을 나누기 때문에 단일 LOAM보다 초반 학습 속도가 다소 느릴 수 있다. Package 과제는 모든 방법이 학습에 어려움을 겪어, 복잡하고 긴 조작 문제는 추가 연구가 필요하다. 연구진은 실행 가능성, 물리적 타당성, 안전성을 시뮬레이션에서 자동으로 검증하는 기능을 강화할 계획이다. 논문에는 관측·행동 모델 각각의 효과, LOAM-Race의 후보 선택 방식과 후보 수별 차이, 여러 LLM 백본의 성능을 보는 추가 실험도 실렸다.

공장 스케줄러에서 시작된 문제의식

강화학습 성능은 알고리즘과 보상 함수만이 아니라 에이전트의 눈에 해당하는 관측 공간과 손에 해당하는 행동 공간에도 좌우된다. 설계가 과제와 맞지 않으면 정책 학습에 시간과 데이터가 더 든다. EUREKA와 Text2Reward처럼 LLM으로 보상을 설계하는 연구는 있었지만 관측·행동 공간 설계 연구는 상대적으로 적었고, 관측 모델과 행동 모델은 여전히 사람이 과제마다 직접 설계하는 경우가 많았다.

EUREKA는 보상 후보를 여러 개 만들어 각각 정책을 학습·평가하고, 최우수 후보와 학습 통계를 LLM에 다시 주어 반복한다. 후보 평가에 수렴까지의 학습이 필요해 시뮬레이션과 시간, 계산 비용이 크다. LESR은 사람이 설계한 관측에 LLM이 만든 특징을 더하는 방식이다. LOAM은 원래 관측에서 필요한 정보를 새로 구성하고 행동 공간까지 함께 설계한다는 점이 다르다.

출발점은 LG AI연구원이 2022년부터 LG화학과 함께 추진한 NCC(Naphtha Cracking Center, 납사 열분해로 에틸렌·프로필렌 등 기초 석유화학 원료를 만드는 공정) 운영 최적화 AI 스케줄러 프로젝트다. LG화학 대산 NCC 공장의 생산 스케줄링에 강화학습 스케줄러를 적용해 수익성을 높이는 것이 목표였다.

연구팀은 NCC 사전 지식 없이 시작해 현업 담당자를 여러 차례 인터뷰했고, 강화학습 구현과 학습보다 현장 이해와 전문가 판단을 관측·행동·보상으로 옮기는 일에 시간을 더 썼다. 보상은 목표와 지표가 분명해 상대적으로 직관적이었지만, 관측 선택과 행동의 범위·단위 설계는 현장 전문가의 경험과 암묵적 운영 지식이 필요했다. 연구팀은 이를 새 과제마다 반복해야 하는지 의문을 가졌다.

연구진이 그리는 최종 모습은 로봇·현장 전문가가 과제 목표, 제약, 예외 상황을 설명하면 LLM이 초기 모델 구성을 만들고, 강화학습 전문가는 정책 학습과 검증에 집중하는 협업 체계다.