컨텍스트 창

컨텍스트 창은 모델이 한 번의 요청이나 대화 처리에서 참고할 수 있도록 함께 제공되는 문맥의 범위다. 대화에서 현재 질문뿐 아니라 앞선 메시지와 지시가 포함될 수 있고, 토큰 단위로 한도를 계산하는 경우가 많다. 한도와 세부 계산은 모델 및 서비스를 확인해야 하며, 모든 제품에 통하는 숫자는 없다. [1] [2]

어디에서 만나나

개발자 문서는 대화 요청에 메시지나 도구 호출이 이어질 수 있고, 긴 대화에서는 과거 내용이 줄어들거나 요약될 수 있음을 설명한다. 입력과 답변, 시스템 지시, 검색 결과, 도구 응답 가운데 어떤 항목을 어느 방식으로 세는지는 구현에 달려 있다. 따라서 컨텍스트 창은 화면에 보이는 대화 글자 수와 항상 같지 않다. [1] [2]

컨텍스트가 길다고 해서 제품이 과거의 모든 대화를 영구히 기억하거나 그 내용을 모델 학습에 추가한다는 뜻은 아니다. 한 대화의 문맥을 유지하는 기능, 계정에 저장된 기록, 장기 기억 설정, 학습 데이터는 서로 다른 설계 요소다. 어떤 정보가 이후에 유지되는지는 사용하는 서비스의 문서와 설정을 따로 확인해야 한다. [2]

작동과 사용 예

긴 계약서를 검토한다고 가정하면, 문서 전체를 한 요청에 넣을 수 있는지 확인하고, 필요한 조항을 나누어 제공하거나 검색 증강 생성으로 관련 부분을 찾게 할 수 있다. 요청에는 결론만 묻기보다 검토할 범위와 판단 기준을 함께 적는 방법이 있다. 이는 작업을 설계하는 예시이지 모든 모델에서 같은 결과를 보장하지 않는다.

문맥 범위를 늘리는 일은 더 많은 자료를 제공할 수 있게 하지만, 중요한 지시와 근거가 묻히지 않도록 정리하는 일도 여전히 필요하다. 긴 입력이 들어오면 서비스가 이전 내용을 요약하거나 잘라낼 수 있고, 사용자는 그 과정에서 빠진 정보가 있는지 확인해야 한다. 문맥 한도는 기억 기능의 품질을 직접 뜻하지 않는다. [1] [2]

비슷한 개념과 주의점

문맥이 부족하면 모델이 앞선 세부사항을 반영하지 못할 수 있고, 너무 많은 자료를 한꺼번에 넣으면 중요한 부분을 찾기 어려워질 수도 있다. 그러므로 질문의 목적에 맞는 정보만 정리해 제공하는 것이 유용하다. 대규모 언어 모델은 프롬프트와 대화 기록을 처리하지만, 그 안의 자료가 최신이거나 참인지 자동으로 보증하지는 않는다. [1] [2]