별점 뒤에 숨겨진 리뷰의 온도, LLM으로 한 끗 차이가 다른 추천 만들기
Summary
별점 5점의 함정, LLM이 읽어낸 '리뷰의 온도'로 진짜 맛집 가려낸다
데이터 인플레이션을 넘어 리뷰 속 진심을 숫자로 바꾸는 지식 증류(Knowledge Distillation) 전략
별점만으로는 변별력이 사라진 추천 시스템의 한계를 극복하기 위해 LLM의 문맥 파악 능력을 활용한 리뷰 품질 평가 시스템을 구축했습니다. 대규모 텍스트 리뷰를 정교한 수치 데이터로 변환하고, 이를 저비용·고효율 모델로 경량화하여 실제 서비스의 개인화 추천 로직에 성공적으로 통합한 사례를 다룹니다.
- 01LLM-as-a-Judge: 단순 감성 분석을 넘어 문맥 속 '추천의 무게감'을 정교하게 수치화하여 데이터 변별력 확보
- 02지식 증류(Knowledge Distillation): 유료 LLM API의 비용 부담을 해결하기 위해 10만 건의 데이터를 학습한 사내 ELECTRA 모델로 성능 이식
- 03베이지안 스무딩 적용: 리뷰 개수가 적은 신규 가게의 점수가 왜곡되지 않도록 통계적 안정성 장치 마련
- 04개인화 리랭킹 결합: 특정 카테고리 점수 편향 문제를 해결하고 검색 지면 대비 재주문율 54% 상승 달성
RECOMMENDATION
대규모 비정형 텍스트에서 정성적 가치를 추출해 서비스에 녹이고 싶은 엔지니어에게 'LLM 레이블링 후 경량 모델 증류' 패턴은 비용과 성능을 모두 잡는 표준 해법이 될 것입니다. 다만 도메인별 리뷰어 성향에 따른 점수 편향이 발생할 수 있으므로 최종 노출 단계에서 개인화 모델과의 앙상블을 반드시 고려하시기 바랍니다.
The Problem
맛집 서비스 내 리뷰의 대부분이 별점 5점에 편향된 '별점 인플레이션' 현상으로 인해 소비자가 실제 신뢰할 수 있는 가게를 찾기 위해 모든 텍스트 리뷰를 직접 읽고 대조해야 하는 번거로움이 발생했습니다.
The Solution
LLM-as-a-Judge 방식을 도입하여 리뷰의 문맥과 진실성을 정교하게 수치화하고, 고비용 LLM(Teacher)의 지식을 사내 데이터로 선행 학습된 경량 ELECTRA(Student) 모델로 이식하는 지식 증류 기술을 적용하여 실시간 서비스 환경에 구축했습니다.
The Result
개인화 리랭킹 모델과 결합하여 단순 별점순 대비 주문 전환율(iCVR)을 개선했으며, 특히 해당 큐레이션을 통한 첫 주문의 재주문율이 검색 지면 대비 약 54% 높게 나타나며 데이터의 신뢰성과 품질 보증 효과를 입증했습니다.
Trade-off
초기 모델에서 특정 연령층의 리뷰 작성 성향이 강한 카페/디저트 카테고리에 점수가 쏠리는 편향이 발견되었으며, 이를 해결하기 위해 단순 점수 합산이 아닌 개인화 메뉴 선호도 모델을 추가 결합하는 공수가 필요했습니다.
Key Concepts
More from 우아한형제들
View all posts from 우아한형제들AI가 내 프롬프트를 흘려듣는 이유: 원리부터 다시 본 컨텍스트 엔지니어링
LLMPrompt EngineeringContext Window6일 전
한 번 성공하니 다음도 쉬울 줄 알았다: 최소주문금액바 4번의 A/B실험
AB TestingConversion RateUX Design2주 전
사람도 AI도 놓친 번역 누락, ESLint 플러그인을 만들어 해결하기
ESLintASTi18n2주 전우아한공방의 새로운 동료, 시스템 맥락을 가진 챗봇서비스 개발기(feat. RAG)
AWS BedrockRAGLangChain1개월 전하네스 엔지니어링(harness engineering)으로 팀 맞춤형 AI 환경 구축하기
CursorLLMHarness Engineering2개월 전
