손가락 튕기기로 LLM 비용 줄이기
Summary
비싼 LLM 비용, 손가락 한 번 튕겨 76억 토큰 줄이는 토스의 SNAP 전략
쉬운 건 소형 모델로, 어려운 건 LLM으로! 토스 가성비 AI 아키텍처의 비밀
LLM 도입 후 폭증하는 API 비용과 response latency로 고민 중이신가요? 토스는 모든 요청을 거대한 LLM으로 처리하는 대신, Confidence 기반으로 쉬운 트래픽만 소형 모델로 골라 처리하는 SNAP(Selective Native AI Processing) 시스템을 구축했습니다. 자동 데이터 수집부터 모델 학습, 선택적 Fallback 서빙까지 AI 운영 비용을 극적으로 낮춘 토스의 실무 노하우를 공유합니다.
- 01System Prompt 앞부분을 해싱한 Task Fingerprint로 방대한 LLM 로그를 작업 단위로 자동 분류
- 02Airflow 일일 배치 기반 후보 발굴부터 학습, 모델 레지스트리 등록까지 하루 만에 자동화
- 03Confidence Threshold를 활용해 목표 일치율(99.9%)을 만족하는 Selective Accuracy 및 Coverage 산출
- 04배포 6일 만에 입력 토큰 76억 개, 출력 토큰 4,520만 개 대폭 절감 성공
- 05L4 GPU 1장으로 초당 1,200건 요청 시 p50 9.02ms, p99 15.23ms의 뛰어난 서빙 performance 달성
RECOMMENDATION
LLM 도입 후 가파르게 증가하는 운영 비용 및 응답 속도 개선이 시급한 MLOps 및 AI 엔지니어에게 강력 추천합니다. 완벽한 모델 대체보다 Confidence 기반 부분 전환 방식을 적용해 속도와 비용 절감 효과를 먼저 챙겨보세요.
The Problem
토스의 수많은 서비스에서 LLM 사용이 확대됨에 따라, 대용량 호출 시 발생하는 높은 비용과 Latency(지연 시간)가 지속적인 운영 문제로 떠올랐습니다.
The Solution
모든 트래픽을 한 번에 전환하는 대신, System Prompt 해싱(Task Fingerprint) 기반으로 로그를 분류하고 Airflow 배치로 소형 모델을 자동 학습시킨 후, Confidence 점수에 따라 쉬운 요청은 소형 모델이, 어려운 요청은 기존 LLM이 처리하도록 선택적 내재화(SNAP) 파이프라인을 구축했습니다.
The Result
동일 상품 판별 작업 첫 배포 후 6일간 약 33~37%의 요청을 소형 모델로 처리하여 입력 토큰 약 76억 개, 출력 토큰 약 4,520만 개를 절감했으며, L4 GPU 1장 환경에서 초당 1,200건 처리 시 p50 9.02ms의 빠른 응답 속도를 확보했습니다.
Trade-off
내재화 모델 판단 결과가 Threshold 기준에 미달할 경우 기존 LLM을 추가 호출해야 하므로, Fallback이 발생하는 소수 요청의 경우 1차 모델 추론 시간에 따른 미세한 추가 Latency가 발생할 수 있습니다.
