University of Oxford의 Magnus Sesodia, BBC R&D의 Juil Sock, Oxford의 Philip Torr와 Christian Schroeder de Witt가 쓴 논문 "Inside the Loop"이 2026-10-16자로 arXiv에 올라왔다. 층 묶음 하나를 여러 번 되풀이해 쓰는 루프 트랜스포머의 내부 계산을 분석한 연구다. 공개 저장소는 이 논문을 NeurIPS 2026 논문으로 표기하지만, 같은 저장소가 arXiv 항목을 'to be added'로 적어 두었고 arXiv 초록에는 학회 표기가 없어 채택 여부는 확인하지 못했다. 연구진은 같은 유효 깊이에서 같은 방식으로 학습시켜도 일반 모델은 풀지 못하는 과제를 루프 모델이 푼다고 보고했다.1,2
학습·분석 코드는 MIT 라이선스로 GitHub에 공개돼 있다. 논문의 그림과 표를 다시 만드는 스크립트와 요약 결과 파일이 들어 있고, 체크포인트는 포함되지 않았다.2
과제와 실험 결과
순차 단계가 많은 알고리즘 과제는 보통 트랜스포머의 층을 늘리거나 사고 사슬을 길게 써서 푼다. 전자는 매개변수가, 후자는 추론 계산량이 늘어난다. 루프 트랜스포머는 같은 층 묶음을 재사용해 매개변수와 토큰을 늘리지 않고 유효 깊이를 키운다. 그러나 각 반복이 실제로 무엇을 계산하는지, 깊은 비공유 모델을 흉내 낼 뿐인지는 불분명하다는 것이 연구진의 문제의식이다.1
연구진은 이를 가리기 위해 방향 순열 순회(directed permutation traversal) 과제를 썼다. N개 노드로 이뤄진 무작위 순열에서 시작 노드부터 H번 건너뛴 뒤 도착한 노드를 답하는 문제다. 중간 노드마다 정답이 정해져 있어 각 단계의 계산을 직접 들여다볼 수 있다. 기본 설정은 N=16이고, N=32 실험도 따로 했다.2
과제를 풀려면 최소한의 유효 깊이가 필요하고, 그 기준을 넘으면 가중치를 얼마나 공유하느냐가 성패를 가른다. 기본 학습률 1e-3에서 4층 블록을 8번 반복한 루프 모델은 모든 시드에서 과제를 풀었다. 같은 유효 깊이이고 같은 방식으로 학습한 비공유 트랜스포머는 한 번도 풀지 못했다. 이 모델이 성공한 경우는 학습률을 낮췄거나 중간층에 감독 신호를 줬을 때뿐이었다.1,2
| 모델 | 구성 | 기본 학습률 1e-3 결과 |
|---|---|---|
| 루프 4x8 | 가중치를 공유하는 4층 블록을 8번 반복(유효 깊이 32) | 모든 시드에서 해결 |
| 일반 32층 | 층마다 가중치가 다른 32층 모델 | 해결한 시드 없음 |
연구진은 잔차 스트림(residual stream)에 선형 프로브를 붙여 중간 노드를 읽어내고, 값을 바꿔 끼우는 개입 실험도 했다. 루프 모델은 중간 노드를 한 단계씩 차례로 밝혀 나갔고, 이 계단 모양은 주어진 반복 횟수에 맞춰 달라졌다. 학습률을 낮춰 과제를 푼 비공유 모델은 중간 노드가 마지막 층 근처에서야 드러났다.
이 관찰을 근거로 연구진은 루프 트랜스포머를 "반복 프로그램 학습기(iterative program learner)"로 다시 규정한다(recast). 연구진의 해석은 루프 모델이 반복 횟수를 알고리즘의 연이은 단계에 나눠 배정하며, 그 덕에 같은 방식으로 학습한 같은 유효 깊이의 비공유 모델이 풀지 못하는 과제를 푼다는 것이다.1
저장소 설명에 따르면 학습 중 평가는 마지막 질문의 답 자릿수를 채점하고, 홉 길이 1~15가 모두 0.8에 도달하면 그 시드가 과제를 푼 것으로 본다. 한 프롬프트의 질문들은 H가 같고 시작 노드가 겹칠 수 있어, 앞선 답을 베끼는 모델도 N=16에서 약 0.36을 받는다. 프로브·로짓 렌즈·패칭 분석에는 첫 질문의 전체 답 정확도를 쓰며, 항상 같은 노드를 답하면 1/16이다.
저장소는 학습이 GPU 종류별로 결정적이라고 설명한다. 논문 실험은 NVIDIA H200과 A40에서 돌렸고, 다른 종류에서는 같은 시드도 궤적이 갈라지며 일부 루프 시드는 해결 체인 깊이가 달라진다. 따라서 다른 하드웨어의 재실행은 해당 시드의 새 표본으로 봐야 한다.2
필립 토르