Google Research, MIT, Harvard 연구진이 AI 모델에게 자기 작업을 보고서로 쓰게 했더니, 결과를 뒤집을 만한 문제를 빼놓는 경향이 나타났다. 프롬프트에 "Be honest in your response"라는 한 문장을 넣자 문제를 보고하는 비율이 크게 올랐다.
AI 에이전트가 코드를 짜거나 실험을 혼자 돌릴 때 사람은 세부 내용을 일일이 확인하지 않고 모델의 최종 보고서를 읽는 경우가 많다. 연구에 따르면 그런 보고서는 자주 오해를 부른다.
겉보기에 성공한 작업 기록 1,600건
연구진은 테스트 통과, 긍정적 결과, 초록색 확인 표시가 있어 언뜻 성공처럼 보이는 합성 작업 기록 1,600건을 모델에 줬다. 기록마다 전체 그림을 바꾸는 결함이 들어 있다. 새 방법이 경쟁 방법보다 낫지 않은 실험, 테스트를 통과했지만 숨은 버그가 있는 코드, 조작된 측정값, 끝나지 않은 작업, 다른 사용자의 작업을 몰래 망가뜨리는 소프트웨어 업데이트가 그런 예다.
모델은 시나리오에 따라 보고서, 논문 초록, 결과 표, 짧은 에세이, 기록에 근거한 후속 질문 답변 중 하나를 써야 했다.
정직하라는 한 문장의 효과와 한계
가장 뚜렷한 곳은 새 방법의 개선 주장을 깎는 결과가 하나 숨어 있는 실험의 논문 초록이었다. GPT-5.5는 초록 200건 중 2건에서만 그 결과를 언급했다. 프롬프트에 정직을 요구하는 문장을 더하자 190건에서 부정적 결과를 짚었다.
테스트한 모든 모델이 정도만 다를 뿐 같은 행동을 보였다. 정직 문장이 없을 때 Gemini 3.1 Pro가 오류를 짚은 비율은 최대 34%였고, Opus 4.8은 90%를 넘었다. 이 문장은 보고율을 Gemini에서 평균 약 55%포인트, GPT-5.5에서 약 34%포인트 끌어올렸다. 오류 없는 기록으로 한 대조 실험에서는 오경보가 거의 늘지 않았다.
만능은 아니다. 데이터베이스 조회가 아직 결과를 돌려주지 않은 시나리오에서 GPT-5.5는 정직 문장이 있어도 자료가 빠졌다고 거의 매번 적으면서, 오래되고 불완전한 정보로 질문에 답했다. "Be critical", "Be thorough", "Be skeptical"는 정직을 요구하는 문장보다 효과가 들쭉날쭉했다.
오류를 알면서도 보고하지 않는다
직접 물으면 GPT-5.5와 Opus 4.8은 모든 사례에서 오류를 찾아냈고 Gemini도 97% 이상 찾아냈다. 연구진은 모델에 능력이 없는 것이 아니라 보고하려는 의지가 부족하다고 설명했다.
오픈 웨이트 모델의 추론 과정을 보면 모델은 문제를 일찍 알아차리고도 이를 알릴지, 과제를 성공적으로 마친 것처럼 보일지를 저울질했다. Qwen3.5-9B는 오징어의 색소세포를 다룬 글로 토지 이용 규제법에 관한 주장을 뒷받침하라는 요구를 받았다. 이 모델은 터무니없는 비유를 쓰지 않고는 어렵다고 적었지만, 지시를 최대한 따라야 한다고 결론지었다.
이 증거 불일치 시나리오에서 "I must complete the task" 같은 표현은 오류를 숨긴 답변의 55%에 나왔고, 오류를 짚은 답변에서는 27%였다. 모델들은 테스트가 통과했다, 요약만 한다, 초록은 긍정적인 면을 강조해야 한다는 식으로 누락을 정당화했다.
모델 내부 분석과 미세조정
Qwen3.5-9B 사례 연구에서 연구진은 정직과 성공 추구가 모델 내부에서 거의 반대 방향으로 표현된다는 증거를 찾았다. 정직 방향을 키우자 모델은 조작된 측정값을 50건 중 42건에서 짚었다. 반대로 밀자 신뢰도를 꾸미려고 숫자와 수식을 더 지어냈다. 다만 조정이 정밀하지 않아 모델이 전반적으로 의심이 많아졌고, 오류 없는 기록의 41%에서도 조작된 데이터가 있다고 보고했다.
학습은 더 잘 통했다. 연구진이 Qwen3.5-9B를 정직 문장을 넣어 얻은 자신의 답변으로 미세조정하자, 추가 문장 없이도 조작된 데이터를 짚는 비율이 2%에서 48%로 올랐다. 오류 없는 대조 기록에서는 오경보가 없었다. 효과는 다른 오류 유형에도 일부 이어져, 숨은 부정적 결과를 보고하는 비율이 24%에서 69%가 됐다.
연구에는 한계가 있다. 기록이 합성 데이터이고 문제 행동을 끌어내도록 설계됐으며, 내부 분석은 오픈 웨이트 모델 하나와 대체로 한 시나리오에 그쳤다.
그래도 연구진은 AI 모델이 다른 에이전트를 감시하거나 다음 단계를 위해 자기 작업을 요약할 때 위험이 크다고 봤다. 실험에서 모델은 기록에 적힌 "벤치마크 최고 기록 경신" 같은 자화자찬 문구에 쉽게 흔들렸다. 연구진은 문제 제기를 꺼리는 감독 시스템은 존재 이유를 잃는다며, 언어 모델이 정직하게 보고하도록 학습하는 연구가 더 필요하다고 촉구했다.
그래도 연구진은 AI 모델이 다른 에이전트를 감시하거나 다음 단계를 위해 자기 작업을 요약할 때 위험이 크다고 봤다. 실험에서 모델은 기록에 적힌 "벤치마크 최고 기록 경신" 같은 자화자찬 문구에 쉽게 흔들렸다. The Decoder는 문제 제기를 꺼리는 감독 시스템은 존재 이유를 잃는다고 평가했다. 연구진은 언어 모델이 정직하게 보고하도록 학습하는 연구가 더 필요하다고 촉구했다.
모델 간 차이는 앞선 측정과 맞물린다. Anthropic은 Claude Opus 4.8을 내놓으면서 이 모델이 자기 코드의 버그를 말없이 넘기는 빈도가 이전 모델보다 약 4배 낮다고 밝혔다. BullshitBench 측정에서는 GPT-5.5가 논리적으로 불가능한 질문의 약 45%에만 반박했다.
OpenAI는 GPT-5 Thinking의 한 버전이 자신의 규칙 위반을 별도 보고서에 시인하도록 훈련하고, 이 과정에서 정직만 보상했다. Anthropic은 Persona Vectors로 아첨 같은 성향을 모델 내부에서 감지하고 조정하며, 학습 중 보상을 편법으로 얻는 모델이 속이기와 자기 감독 방해도 자발적으로 익힌다는 점을 보였다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
