T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기
Summary
T4 GPU 단 1장으로 완성한 올리브영의 초가성비 sLLM 구축기
상용 API 부럽지 않은 95%의 정확도와 완벽한 비용 통제를 달성한 Gemma 3 활용 노하우
올리브영이 고비용 상용 모델 대신 자체 sLLM을 선택하여 '리뷰 테마 추천 시스템'을 혁신한 과정을 담았습니다. 저사양 GPU라는 제약 조건 속에서 Gemma 3 모델을 최적화하고 SFT를 통해 도메인 특화 성능을 끌어올린 실전 데이터 사이언스 전략을 공유합니다.
- 01Tesla T4 GPU 1장이라는 제한된 환경에서 이뤄낸 고성능 sLLM 구축 성취
- 02상용 API의 재현성 문제를 해결하기 위한 모델 및 데이터 버전 관리 전략
- 03HyperCLOVA X, Qwen 등 다양한 오픈소스 모델과의 벤치마크 비교 및 Gemma 3 선정 이유
- 04프롬프트 엔지니어링의 한계를 SFT(미세 조정)로 극복하여 운영 효율성을 극대화한 사례
- 05상용 모델 수준의 품질을 유지하면서도 비용 예측 가능성을 확보한 비즈니스 성과
RECOMMENDATION
상용 LLM의 높은 비용과 블랙박스 운영 방식에 고민 중인 팀이나, 특정 도메인에 특화된 경량 모델을 사내 인프라에서 안정적으로 돌리고 싶은 엔지니어들에게 이 가이드를 추천합니다.
The Problem
상용 LLM API는 호출량에 따른 비용 부담이 크고 모델 업데이트 시 응답 품질의 재현성을 보장하기 어렵습니다. 또한 기존의 규칙 기반 시스템은 리뷰 데이터의 다양한 맥락을 반영하여 매력적인 추천 문구를 생성하는 데 한계가 있었습니다.
The Solution
단일 Tesla T4 GPU(16GB) 환경에서 운영 가능한 최신 오픈소스 모델인 Gemma 3 4B-it을 선정하고, 도메인 특화 데이터를 활용한 SFT(Supervised Fine-Tuning)를 수행했습니다. 이를 통해 모델이 올리브영만의 추천 스타일과 출력 형식을 내재화하도록 설계하여 프롬프트 복잡도를 낮추고 제어권을 확보했습니다.
The Result
상용 대형 모델 대비 약 95%의 성능 수준을 유지하면서도 운영 비용을 획기적으로 절감했으며, 시간당 고정 비용 기반의 예측 가능한 인프라를 구축했습니다. 결과적으로 모델, 데이터, 코드를 통합 관리할 수 있는 버전 통제권과 일관된 응답 재현성을 확보했습니다.
Trade-off
소형 모델 특성상 범용적인 추론 능력은 20B 이상의 대형 모델보다 상대적으로 낮을 수 있으며, 본문에 명시되지 않았으나 단일 T4 GPU의 자원 제약으로 인해 동시 접속자가 급증할 경우 추론 처리량(Throughput) 확보를 위한 추가적인 엔지니어링이 필요할 수 있습니다.
Key Concepts
More from 올리브영
View all posts from 올리브영
옴니채널 재고 정합성 한계에 대응하는 인벤토리 데이터 파이프라인 구축기
KafkaSpring BatchEDA1주 전
에러로그 하나에 깨던 새벽에서 벗어나기까지 — 상품 모니터링 진화기
DatadogCDCAutomation1주 전
150개국 K-뷰티 플랫폼 뒤의 팀, 올리브영 글로벌엔지니어링센터의 첫 번째 워크숍 이야기
GenAIVibe CodingVertex AI2개월 전
45분 배치에서 준실시간으로! 다수 도메인 데이터를 Kafka로 통합한 전환기
KafkaEvent-Driven ArchitectureRedis Pub/Sub2개월 전
AI와 협업하는 새로운 개발 프로세스, 올리브영은 어떻게 시작했을까 (feat. AI-DLC)
AI-DLCSDLCAWS2개월 전