개발자 Shane Melaugh가 Anthropic의 Claude Opus 5.5에서 11월 3일을 기점으로 사고 과정 요약 문장과 작업 방식에 뚜렷한 변화가 생겼다고 주장하며 추론 성능 저하 의혹을 제기했다. 약 1400건의 Claude Code 사용 기록을 분석한 결과이고, 다른 개발자 Theo Browne은 약 45만8000건의 응답을 분석해 반박했다.
두 분석은 모두 개발자 개인의 주장이다. Anthropic이 실제로 모델 성능을 낮췄는지는 확인되지 않았고 추가 검증이 필요하다.
Melaugh의 주장
Melaugh는 10월 9일부터 11월 7일까지의 기록을 Google의 제미나이4 아르곤으로 분석했다. 11월 3일을 기점으로 사고 과정 문장과 작업 방식이 달라졌다는 것이다.
- 사고 요약 문장이 "I'm"으로 시작하는 비율이 기존 20~30%에서 61.3%로 급증했다고 주장했다.
- "I should", "I need to" 같은 표현은 약 50%에서 10.9%로 줄었다고 했다.
- 11월 3일 전후 약 2만9400회의 상호작용을 비교하니 첫 작업 전에 표시된 사고 토큰 수 중앙값이 84개에서 54개로 약 36% 줄었다고 밝혔다.
- 같은 11월 3일 전후 비교에서 코드 실행과 수정에 관련된 오류 지표가 47% 늘었다고 주장했다.
코딩 시험도 했다. 동일한 음성 재생 오류 1건을 맡기자 추론 강도 'high'에서는 160회 상호작용에도 해결하지 못했고, 'xhigh'에서는 5회 만에 고쳤다. 한 가지 과제에서 나온 결과다.
Browne의 반론
Browne의 분석에서 응답당 평균 사고 토큰 수는 369개에서 413개로 오히려 늘었다. 사고 요약의 문체가 바뀐 것은 확인했지만 적용 시점이 계정마다 다르다고 했다. 자신의 환경에서는 성능 저하 징후가 없었으며, Anthropic이 사고 요약 방식을 계정별로 바꾸고 있을 가능성을 제기했다.
Melaugh도 이번 조사가 엄밀한 성능 평가는 아니라고 인정했다.
두 분석은 지표와 표본이 다르다. Melaugh는 첫 작업 전 사고 토큰 수의 중앙값을, Browne은 응답당 평균을 봤다. 변화 시점도 Melaugh는 11월 3일로 잡았지만 Browne은 계정마다 다르다고 했다. Anthropic 공식 문서는 이용자에게 보이는 사고 내용이 실제 내부 추론이 아니라 별도 모델이 만든 요약이라고 설명한다. 따라서 요약 문체나 토큰 수의 변화만으로 모델 성능이 떨어졌다고 단정하기는 어렵다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- 갑자기 멍청해진 클로드?…오퍼스 5.5 추론 성능 저하 의혹 digitaltoday.co.kr
