OpenAI API, 12시간 프롬프트 캐싱 추가, 캐시 쓰기는 입력가 2.5배

OpenAI가 API에서 프롬프트 캐싱을 12시간 동안 유지하는 옵션을 추가했다. 업데이트 기록에는 10월 20일 항목으로 올라 있으며, Responses API(v1/responses)에 해당한다. 개발자는 이 옵션을 선택해 공통 지시문, 도구, 맥락을 더 오래 캐시에 둘 수 있다.

요청 간격이 몇 시간 벌어져도 낮은 캐시 입력 요금을 적용받는다는 것이 OpenAI의 설명이다. 12시간 캐시 쓰기는 입력 토큰 가격의 2.5배다. 지원 모델 범위와 별도 신청 절차는 이 항목에 적혀 있지 않다.

요금 구조와 기존 캐시 옵션

12시간 캐시 쓰기 비용은 입력 토큰 가격의 2.5배라고만 명시돼 있고, 모델별 표준 캐시 쓰기 가격과 어떤 관계인지는 적혀 있지 않다. 참고로 9월 29일 출시된 GPT-6.1 Sol은 GPT-6 Astra보다 낮은 비용으로 복잡한 코딩과 전문 업무를 처리하는 모델이다. 표준 요금(입력 27만 2천 토큰 이하 프롬프트, 100만 토큰당)은 입력 2달러, 캐시 입력 0.10달러, 캐시 쓰기 2.50달러, 출력 10달러다. 이 모델이 12시간 캐시 지원 대상인지는 기록에 나오지 않는다.

확장 캐시 보관은 2025년 11월 13일 처음 나왔다. 캐시된 접두부를 최대 24시간까지 유지하는 기능으로, 메모리가 가득 차면 키·값 텐서를 GPU 로컬 저장소로 옮기는 방식이다. 2026년 5월 29일에는 ZDR(데이터 무보존)을 쓰지 않는 조직의 prompt_cache_retention 기본값이 in_memory에서 24h로 바뀌었다. v1/responses, v1/chat/completions, v1/batch에 적용되며, 이에 따라 확장 프롬프트 캐싱이 기본으로 켜진다.

2026년 4월 24일 GPT-5.5 출시 항목에는 이 모델의 캐싱이 확장 프롬프트 캐싱에서만 작동하고 인메모리 프롬프트 캐싱은 지원하지 않는다고 적혀 있다.

캐시 관리 도구

캐시 효율을 점검하는 도구는 이미 있다. 8월 20일 공개된 프롬프트 캐싱 대시보드는 시간에 따른 캐시 적중률, 쓰기 대비 읽기 횟수, 캐시 읽기·쓰기·미캐시 토큰 구성을 보여 준다. 모델과 서비스 등급별로 걸러 볼 수 있다. 9월 8일에는 GPT-5.6 이후 지원 모델에서 Responses API의 Prompt Cache Diagnostics가 정식 제공됐다. 이전 응답과 캐시 재사용을 비교하고 캐시가 빗나간 이유를 찾을 수 있다.

쓰기 비용이 입력가의 2.5배이므로, 12시간 옵션이 이득이 되는지는 캐시를 몇 번 읽느냐에 달려 있다. 같은 긴 지시문을 하루 동안 간격을 두고 반복 호출하는 서비스는 대시보드의 쓰기당 읽기 횟수를 보고 판단할 수 있다. 이 문단은 공개된 요금 구조에서 끌어낸 해석이며, 손익분기 호출 횟수는 OpenAI가 제시하지 않았다.