Graph Retrieval부터 LLM 의미론적 초기화까지, 탐색을 구매 전환으로 이끈 추천 구조의 극적 진화
인기 편향과 뻔한 결과에 갇힌 협업 필터링(CF)의 한계를 깨기 위해 추천 시스템의 파이프라인을 전면 재구성한 기술 여정입니다. 후보군 생성, 실시간 리랭킹, 부정 피드백 반영, 언어 모델 임베딩 결합에 이르는 4단계 입체적 아키텍처 변경을 통해 구조적 선택이 실제 비즈니스 지표를 견인하는 원리를 증명해 보입니다.
단순 클릭수(CTR) 최적화에 머무는 추천 한계를 극복하고, 장기적인 탐색 만족도와 다양성을 함께 잡고 싶은 실무 AI/ML 엔지니어들에게 강력히 추천합니다.
초기 도입한 공동 클릭 기반의 아이템 협업 필터링(CF) 추천은 시간이 흐를수록 특정 인기 상품군으로 추천이 수렴하여 카탈로그 커버리지가 하락하는 문제를 낳았습니다. 또한 상품 수가 증가함에 따라 유사도 매트릭스 상시 참조로 인한 메모리 사용량과 배포 비용이 기하급수적으로 증가하는 한계에 직면했습니다.
이 문제를 해결하기 위해 후보 생성 단계를 UltraGCN 기반의 그래프 멀티 비헤이비어 검색(Graph Retrieval)으로 전환하고, DCN과 TransAct 모델을 결합한 리랭킹(Reranking) 레이어를 설계했습니다. 추가적으로 컨텍스트 밴딧 기반의 부정 피드백 반영 아키텍처와 LLM(Qwen3) 텍스트 임베딩을 이용한 임베딩 초기화(Semantic Initialization) 기법을 도입했습니다.
개선 결과 연관 상품 지면에서 유저당 거래액(GMV) +3.86%, 주문 횟수 +4.41% 증가를 기록했으며, 부정 피드백 반영을 통해 브랜드 다양성이 4.16% 향상되었습니다. 또한 의미론적 초기화를 통해서는 전체 유저 GMV +2.3%, 특히 미구매 유저 GMV가 +7.9% 상승하는 정량적 성과를 달성했습니다.
Trade-off
실시간 세션 맥락 반영과 사용자 피드백의 즉각적인 업데이트를 처리하기 위해 Feature Store 인프라와 실시간 스트리밍 연산 파이프라인이 필수적으로 요구되어 시스템 아키텍처의 복잡도가 증가하는 트레이드오프가 존재합니다.
그래프 신경망(GNN) 기반 추천에서 고차 연결성(high-order connectivity)을 효과적으로 학습하면서도 메시지 패싱 과정을 간소화하여 학습 비용을 현실적으로 관리하는 효율적인 그래프 협업 필터링 알고리즘입니다.
사용자의 실시간 행동 시퀀스(단기 의도)와 배치 학습 기반의 장기 취향을 함께 결합하여 실시간으로 후보군을 랭킹하는 시퀀셜 모델링 아키텍처입니다.
사전학습된 대규모 언어 모델(LLM)이 생성하는 텍스트 의미 공간이 단순한 언어적 표현을 넘어 협업 필터링 기반의 사용자 행동 선호도 공간과 구조적 유사성을 가질 수 있다는 기술적 발견입니다.