2조 토큰을 카테고리 분류에 쓰면서 알게된 것들
Summary
2조 토큰으로 완성한 당근의 초정밀 카테고리 분류기 제작기
10,000개의 카테고리를 LLM으로 정복하며 비용과 정확도의 '스윗 스팟'을 찾아낸 여정
당근 Taxonomy 팀이 대규모 게시글을 자동으로 분류하기 위해 구축한 LLM 기반 관리 시스템의 설계부터 운영 노하우까지 전 과정을 담았습니다. 단순 분류를 넘어 수만 개의 카테고리를 효율적으로 다루기 위한 하이브리드 검색 전략과 데이터 신뢰성을 확보하는 평가 자동화 기법을 상세히 소개합니다.
- 011,400개에서 10,000개로 확장된 6단계 깊이의 정교한 택소노미 자동 구축
- 02BM25와 임베딩 유사도를 결합한 하이브리드 필터링으로 LLM 토큰 사용량 최적화
- 03LLM-as-a-Judge 방식을 통한 자동화된 품질 모니터링 및 정확도 지표 관리 체계
- 04이미지 해상도 조정 및 타일링 최적화로 비전 토큰 비용을 1/4 수준으로 절감
- 05Apache Beam(Dataflow)을 활용해 스트림과 배치를 동시에 지원하는 확장성 있는 인프라
RECOMMENDATION
대규모 비정형 데이터를 정교한 체계로 분류해야 하는 백엔드 및 AI 엔지니어에게 추천하며, 특히 LLM API 비용 최적화와 평가 자동화가 고민인 실무팀에게 즉시 적용 가능한 가이드를 제공합니다.
The Problem
기존의 카테고리 분류 방식은 팀별로 파편화되어 노하우 공유가 어려웠으며, 대규모 배치 처리 지원 미비와 명확한 품질 검증 체계 부재로 인해 운영 효율성과 데이터 신뢰도가 낮았습니다.
The Solution
Apache Beam 기반의 Taxonomy Management System을 구축하여 스트림과 배치 처리를 통합하고, BM25와 임베딩을 결합한 하이브리드 검색 전략 및 LLM-as-a-Judge 평가 체계를 도입하여 10,000개 이상의 카테고리를 자동 분류합니다.
The Result
2조 토큰 규모의 데이터를 처리하며 택소노미를 6단계 깊이의 10,000개 수준으로 확장하였고, 이미지 타일링 최적화와 프롬프트 캐싱을 통해 정확도를 유지하면서도 운영 비용을 획기적으로 절감했습니다.
Trade-off
본문에 구체적인 수치는 명시되지 않았으나, LLM 호출 단계가 복잡해짐에 따라 단일 추론 대비 전체 파이프라인의 지연 시간(Latency)이 증가할 수 있으며, LLM 간 합의 방식인 Judge 모델의 판단이 실제 사용자의 의도와 미세하게 다를 수 있는 리스크가 존재합니다.
Key Concepts
More from 당근
View all posts from 당근
혼자 시작해 전국 오픈까지, 당근 레슨/과외 빌딩 로그
MarketplaceProduct Market FitFunnel Optimization2주 전
디자인시스템 팀은 디자인시스템만 잘 만들면 될까
Design SystemAI in DesignUX Patterns1개월 전당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기
ELTApache SparkApache Airflow1개월 전
누구나 찾아볼 수 있는 중고거래 서버 LLM 릴리즈 노트 도입기
LLMGitHub ActionsNotion2개월 전How We Protect Karrot’s Internal PyPI Proxy from Supply Chain Attacks
PyPIAWS CodeArtifactSecurity Cooldown2개월 전
