개발자 Simon Willison이 2026년 11월 3일 자신의 노트북에서 Qwen 3.8 27B를 돌려, 신경망의 가중치 숫자만 보고 그 신경망이 어떤 게임을 하도록 학습됐는지 맞히게 한 실험을 공개했다. 코드 실행이나 계산기 같은 도구 없이 한 번의 응답으로 답하게 했고, 그가 시험한 세 게임을 모두 맞혔다.
모델 파일 크기는 17GB다. 시험에는 LM Studio와 llm-lmstudio 플러그인을 썼고, 컨텍스트 창을 길게 잡아야 했다. 기본값 8192에서는 오류가 났다. 응답이 오래 걸려 제한 시간도 환경 변수로 900초까지 늘렸다.1
실험의 바탕이 된 논문
실험은 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab이 쓴 논문 'Sparks of Weight-Space Programming'에서 가져왔다. 논문은 최신 모델, 특히 GPT-6 Astra가 모델의 원시 가중치를 읽어 해석하고 고칠 수 있다고 주장한다. 가중치는 부동소수점 숫자가 가득한 텍스트 형태로 모델에 주어진다. 저자들은 이렇게 모델이 가중치를 분석하고 수정하는 일을 Weight-Space Programming이라 불렀다.
논문 초록에 따르면 GPT-6 Astra는 가중치만 보고 네트워크가 무엇을 하도록 학습됐는지 말할 수 있다. 환경 피드백 없이 작은 게임용 네트워크를 처음부터 써서, 1억 스텝 동안 PPO로 학습한 네트워크를 이기게 하기도 했다. Qwen3.5-0.8B에서는 모델 카드가 경고하는 추론 반복 문제의 원인을 가중치에서 찾아 0.016%를 고쳤고, 같은 샘플링 설정에서 MATH-500이 7.9%에서 48.1%로 올랐다고 밝혔다. IFEval은 3배가 됐다고 한다.
Willison은 이 논문이 서로 다른 두 주제를 섞었다고 본다. 하나는 도구와 코드 없이 모델이 가중치로 할 수 있는 일이고, 다른 하나는 코드를 쥔 모델이 다른 모델을 고치는 일이다. spaCy 개발자 Matthew Honnibal은 두 주제를 뭉쳐 오해를 부른다고 비판했고, Sean Goedecke는 Qwen3.5-0.8B 수정 사례가 사람 머신러닝 연구자의 절차와 같다고 풀어 썼다. Willison은 도구 없는 쪽에 집중했다.1
어떻게 시험했나
논문 저자들은 10x10 격자로 단순화한 Breakout, Pong, Pac-Man, Freeway 네 게임을 강화 학습으로 신경망에 학습시켰다. 그 가중치를 숫자 그대로 LLM에 주고, 어느 게임으로 학습됐는지 묻는다. 프롬프트는 도구가 없고 한 번만 답하라고 못 박는다. 논문 부속 GitHub 저장소 RikiyaT/lm_understand-logs의 exp1_which_game 폴더에 게임별 프롬프트가 있으며, Willison은 가중치 부분을 빼면 네 프롬프트가 같다고 확인했다.1
이 저장소는 실험 8개의 전체 기록을 담고 있다. 논문의 'Astra'는 OpenAI의 gpt-6-astra이며, Codex CLI를 한 턴씩 호출해 돌렸다. 셸, 파일 편집, 웹 검색 같은 내장 도구를 모두 껐고, 이 공개분의 1,125개 턴이 모두 도구 없이 진행됐음을 이벤트 기록으로 점검했다고 저자들은 밝혔다. 코드를 허용한 실험 3, 6, 7, 8에서는 모델이 턴마다 파이썬 블록을 쓰고 네트워크 없는 자체 샌드박스에서 실행해 출력을 돌려보냈다.2
Qwen 3.8 27B의 결과
| 게임 | 소요 시간 | 모델이 밝힌 확신도 |
|---|---|---|
| Pac-Man | 46분 12초(추론 토큰 43,506개) | 72% |
| Pong | 1시간 4분 54초 | 75% |
| Breakout | 52분 25초 | 88% |
Pac-Man 답변은 8x8 미로, 중앙과 모서리의 벽, 움직이는 유령, 보상 알갱이를 짚었다. Pong은 오른쪽 세로 패들로 공을 받아내는 게임으로, Breakout은 아래쪽 패들로 공을 계속 살리고 위쪽 벽돌을 깨는 게임으로 설명했다. Willison이 글을 쓸 때까지 Freeway 프롬프트는 계속 돌아가는 중이었다. 그는 고전 게임이 아니어서 기대를 낮게 잡았다고 적었다.
비교용으로 OpenRouter를 거쳐 Kimi K3.1 Pro에도 Breakout 프롬프트를 넣었다. 이 모델은 9분 41초, 추론 토큰 19,493개로 Breakout을 맞혔다.
Qwen의 추론 기록은 읽기 어렵다. 특정 줄과 입력 번호, 채널별 값을 늘어놓으며 에이전트 위치를 짐작하는 식이다. Willison은 메모지와 연필을 든 숙련된 사람이라면 충분한 노력으로 같은 답에 닿을 것이라고 봤다. 논문은 흥미롭지만 주변의 과장된 논평은 근거가 부족하고, 소스 코드의 시대가 끝나 기계가 알 수 없는 방식으로 스스로 가중치를 고치는 미래를 선언할 단계는 아니라는 것이 그의 평가다.1
사이먼 윌리슨