환각

AI 환각은 시스템이 자연스럽고 자신감 있는 표현을 만들면서도 사실과 다르거나 근거가 없는 내용을 내놓는 현상이다. NIST의 생성형 AI 위험 자료는 존재하지 않는 출처나 허구의 인용을 포함한 잘못된 정보를 그럴듯하게 제시하는 문제를 설명한다. 이 현상은 대규모 언어 모델이 일부러 사람을 속이려는 의도를 가졌다는 뜻이 아니다. [1] [2]

어디에서 만나나

생성형 모델은 주어진 문맥에 맞는 출력을 구성하도록 학습되지만, 유창함과 사실 검증은 같은 능력이 아니다. 질문이 모호하거나 필요한 근거가 없고, 학습 지식이 낡았거나, 요청한 형식이 사실과 맞지 않으면 오류가 생길 수 있다. 실제 원인은 모델과 서비스의 설계 및 사용 상황마다 다르므로 한 가지 이유로 모두 설명할 수 없다. [1] [2]

가짜 논문 제목, 실제로는 없는 법 조항, 발표 날짜가 잘못된 제품 정보는 환각을 확인할 때 살펴볼 사례다. 출처 링크를 함께 요청하더라도 링크가 열리는지, 그 문서가 해당 문장을 실제로 뒷받침하는지 확인해야 한다. 인용 형식이 갖춰졌다는 사실만으로 인용 내용이 진짜가 되지는 않는다. [2]

작동과 사용 예

업무 보고서의 근거를 찾는다고 가정하면, 모델에 출처와 인용할 문장을 분리해 달라고 요청한 뒤 원문에서 직접 대조할 수 있다. 계산이나 날짜처럼 검증 가능한 값은 별도 자료와 비교하고, 확실하지 않은 항목은 보류 표시를 요청할 수 있다. 이러한 점검은 결과를 안전하게 사용하는 절차의 예다.

환각을 줄이려면 질문의 근거가 될 자료를 제공하고, 결과와 원문을 나란히 확인하며, 검증할 수 없는 항목은 답을 보류하도록 설계할 수 있다. 이런 절차는 위험을 낮추는 데 도움이 되지만 모든 오류를 예방한다고 말할 수 없다. 최신 정보나 전문 판단이 필요한 경우에는 권위 있는 원문과 담당자의 검토를 우선한다. [1] [2]

비슷한 개념과 주의점

검색 증강 생성은 외부 자료를 가져와 답변 문맥에 넣을 수 있지만, 잘못된 자료를 찾거나 문맥을 잘못 사용하면 오류가 남는다. 더 명확한 지시를 만드는 프롬프트 엔지니어링도 모호함을 줄이는 데 도움이 될 수 있지만 사실 정확성을 보장하지 않는다. 중요한 결정은 원자료, 담당자, 검증 가능한 절차와 함께 확인해야 한다. [1] [2]