프론티어 모델 대신, 우리 모델이 모든 상담을 분석합니다
Summary
상용 LLM API 비용 99.4% 절감! 연 6억 원 아끼는 채널톡의 자체 AI 모델 구축기
지식 증류부터 멀티태스크 학습 최적화까지, 프론티어 모델을 뛰어넘은 경량 자체 모델의 실전 운영 노하우
채널톡 AI팀이 비용 폭탄을 일으키던 상용 LLM API에서 탈피하여 자체 경량 모델로 전환한 전 과정을 담은 아티클입니다. 단순 비용 절감을 넘어 정확한 평가 체계 구축과 서빙 성능 최적화를 모두 달성한 시니어 엔지니어링 관점의 깊이 있는 인사이트를 제공합니다.
- 01상용 LLM 대비 비용 99.4% 절감 및 연간 약 6억 원 상당의 고정 비용 효율화
- 021.2만 건의 골든셋과 상세 Rubric 기반의 정교한 오프라인 평가 시스템 정립
- 03Multi-LoRA 대신 단일 Multi-Task 모델 구축을 통해 TTFT 16배 개선 및 throughput 54.4% 향상
- 04Multi-Task 학습 시 발생하는 Gradient Conflict 현상을 극복하고 Single-Task 수준 이상의 성능 확보
- 05판단 근거가 없는 경우 판단을 피하는 Neutral 처리 체계 확립으로 상용 LLM보다 일관된 정밀도 달성
RECOMMENDATION
상용 LLM API 사용으로 인한 비용 부담으로 sLLM 직접 학습 및 서빙을 고민하는 AI 엔지니어와 MLOps 팀에게 매우 유용한 실전 가이드입니다.
The Problem
채널톡은 핵심 이슈 추출, 토픽 배정, 상담 평가 등의 3가지 분석 작업을 상용 LLM API로 처리했으나, 전체 상담 트래픽 증가에 따른 비용 부담과 명확한 평가 기준 부재라는 문제에 직면했습니다.
The Solution
상용 LLM 대신 경량 오픈 모델 기반의 자체 모델을 구축하고, CX팀과 함께 수립한 Rubric 및 12k 골든셋을 통해 데이터 가치를 선별하였으며, 3가지 작업을 하나의 모델에 통합하는 Multi-Task 학습 방식을 도입했습니다.
The Result
세 작업 모두에서 상용 LLM 이상의 성능을 달성함과 동시에 API 비용을 99.4% 절감하여 연간 약 6억 원을 절약했으며, Multi-Task 단일 모델 서빙으로 TTFT 속도를 p95 기준 16배 개선하고 필요 인스턴스를 절반으로 줄였습니다.
Trade-off
자체 모델 운영 특성상 실제 상담 데이터의 분포 변화(Distribution Shift)를 감지하여 주기적으로 모델을 재학습하고 자동화 파이프라인을 유지 관리하는 지속적인 MLOps 공수가 요구됩니다.
