Read Original
#AI

모델만 바꿨는데 LLM 비용이 3배가 된 이유

모델만 바꿨는데 LLM 비용이 3배가 된 이유
01

Summary

단가 20% 싼 LLM으로 바꿨는데 비용이 3.2배 폭등한 원인과 해결책

OpenAI·Anthropic·Gemini 프롬프트 캐시 동작 원리 및 명시적 구분점 활용 비용 절감 가이드

LLM 단가를 낮추기 위해 모델을 교체했다가 예상치 못한 비용 폭등을 겪은 당근 커뮤니티팀의 실무 해결 복기글입니다. 주요 LLM 제공사(OpenAI, Anthropic, Gemini)의 프롬프트 캐싱 및 KV 캐시 동작 방식의 차이를 정밀하게 비교 분석합니다. 고정 프롬프트와 동적 입력 경계에 명시적 구분점을 설정해 히트율을 95%까지 끌어올리고 비용을 5분의 1로 절감한 실전 아키텍처 노하우를 제공합니다.

  • 01Gemini에서 GPT-5.6 교체 후 캐시 히트율 급락(85.8% -> 2.3%)으로 인한 3.2배 비용 증가 원인 규명
  • 02제공사별 자동 캐시 구분점 위치 및 쓰기 할증(Write Surcharge) 요금 체계 비교 분석
  • 03고정 지시문 경계에 명시적 구분점(prompt_cache_breakpoint)을 설정해 비용 80% 감축
  • 04타임스탬프, UUID, JSON 키 순서 변경 등 캐시를 깨뜨리는 주요 요소 정리
  • 05운영 트래픽 기반 캐시 히트율 모니터링 및 프롬프트 템플릿의 시스템적 관리 필요성 제시

RECOMMENDATION

대량의 고정 지시문이나 대화 이력을 LLM API로 지속 전송하는 백엔드 엔지니어 및 AI 개발자에게 적극 추천합니다. 모델 교체 시 단순 토큰 단가표 외에 제공사별 캐시 구분점 동작 및 쓰기 할증 정책을 반드시 검증해야 합니다.

The Problem

당근 커뮤니티홈팀은 주제 분류 작업의 LLM 단가를 낮추기 위해 Gemini에서 단가가 20% 저렴한 OpenAI GPT-5.6으로 모델을 변경했으나, 에러 없이 요청당 비용이 오히려 3.2배로 급증했습니다.

The Solution

모델 변경 후 캐시 히트율이 85.8%에서 2.3%로 급감한 원인을 분석하여, 자동 구분점의 위치 변화로 인해 고정 지시문 캐시가 깨짐을 확인하고 프롬프트 고정부 끝에 명시적 구분점(prompt_cache_breakpoint)을 추가했습니다.

The Result

명시적 구분점 적용 후 캐시 히트율이 95% 안팎으로 상승하였으며, 주제 분류 작업의 요청당 비용을 기존 대비 약 5분의 1 수준으로 크게 절감했습니다.

Trade-off

캐시 저장 시 쓰기 할증(Write Surcharge) 비용이 발생하는 모델의 경우, 캐시 히트율이 약 22% 미만으로 떨어지면 캐시를 아예 쓰지 않을 때보다 전체 비용이 더 비싸질 수 있습니다.

03

Key Concepts

Concept · 01

프롬프트 캐시 (Prompt Caching)

LLM 요청 시 반복되는 공통 프롬프트 입력의 K·V 계산 결과를 서버에 보관하고 재사용하여 prefill 단계를 건너뛰고 입력 비용과 응답 지연 시간을 단축하는 기술입니다.

  • 응답 자체를 저장하는 응답 캐시와 달리 입력 계산만 재사용하며 출력은 매번 새로 생성함
  • 프롬프트 맨 앞부분부터 완벽히 일치하는 Prefix에 대해서만 동작함
Concept · 02

KV 캐시 (KV Cache)

트랜스포머 아텐션 메커니즘에서 이전 토큰들의 Key와 Value 벡터 값을 버퍼에 저장해 두고 다음 토큰 생성 시 재계산 없이 참조하는 메모리 구조입니다.

  • 토큰 생성 시 이전 토큰 전체를 매번 재계산하는 낭비를 방지함
  • 프롬프트 캐시는 요청이 완료된 후에도 이 KV 캐시의 앞부분을 서버에 유지하여 다음 요청에 물려줌
Concept · 03

명시적 구분점 (Explicit Breakpoint)

LLM API 요청 시 고정된 지시문 영역의 끝을 명시적으로 지정하여 해당 지점까지만 캐시 덩어리로 저장하도록 지시하는 기능입니다.

  • OpenAI GPT-5.6 이후 모델에서 prompt_cache_breakpoint 모드를 explicit으로 설정하여 활용함
  • 요청마다 바뀌는 입력값으로 인해 전체 지시문 캐시가 파괴되는 현상을 막아 캐시 히트율 95% 달성