Read Original
#AI

통합임베딩으로 개인화 푸시 CTR +21.3%를 만든 과정

통합임베딩으로 개인화 푸시 CTR +21.3%를 만든 과정
01

Summary

사일로에 갇힌 추천 모델은 가라! 무신사가 '통합임베딩' 하나로 푸시 CTR 21.3% 올린 비결

따로 배우던 유저 취향을 지식 그래프 기반 'Layer 0'로 통합하여 모든 개인화 서비스의 성능과 운영 효율을 극대화한 여정

무신사 Personalization 팀이 개별 추천 서비스마다 독립적으로 유저를 학습하던 사일로 구조를 깨고, 모든 의사결정이 공유하는 유저 표현층 'Layer 0(통합임베딩)'를 구축한 과정을 소개합니다. 유저의 다양한 행동 데이터를 연결된 그래프 형태로 학습하는 TransE 모델을 채택하고, 콜드 스타트 문제를 해결하는 이원화 모델을 설계하여 실무적 한계를 극복했습니다. 이를 개인화 푸시에 적용해 CTR과 거래액 모두 극적인 성장을 이끌어냈으며, 공통 백본을 통한 아키텍처 효율성까지 달성했습니다.

  • 01지식 그래프 임베딩(TransE) 기법을 활용해 12종의 엔티티와 23종의 릴레이션으로 구성된 1억 5천만 개의 연결 데이터를 하나의 벡터 공간에 학습
  • 02행동 이력이 부족한 신규 엔티티를 위해 Warm 모델과 Cold 모델을 유기적으로 결합한 이원화 파이프라인 구축
  • 03기존 DeepFM 대비 온라인 A/B 테스트에서 CTR +21.3% 상승 및 카테고리 선호도 모델 CVR 최대 7.8% 개선
  • 04정교한 스코어링 기반 컷오프로 일일 푸시 발송량을 26% 줄이면서도 발송당 거래액을 57% 증가시킨 고효율 타겟팅 구현
  • 05개별 전용 파이프라인을 걷어내고 공통 백본(Layer 0)을 고도화하면 모든 서비스가 동시에 개선되는 선순환 아키텍처 확보

RECOMMENDATION

여러 서비스 채널(푸시, 쿠폰, 추천 등)에서 동일한 유저 데이터를 중복 학습하며 파이프라인 관리 비용으로 고민 중인 조직에 추천합니다. 유저 행동 데이터를 그래프 구조로 전환하여 공통 벡터 공간을 설계함으로써, 모델 파편화를 줄이고 신규 개인화 태스크의 도입 장벽을 크게 낮출 수 있습니다.

The Problem

서비스마다 개별 모델을 구축하면서 동일 유저의 행동 데이터를 독립적으로 중복 학습하는 사일로 현상이 발생했습니다. 이로 인해 모델 파이프라인의 유지 및 운영 비용이 증가하고, 담당자 변경 시 운영 맥락이 유실되는 문제가 존재했습니다.

The Solution

유저, 상품, 브랜드, 카테고리를 노드로 정의하고 이들 간의 관계를 지식 그래프 형태로 임베딩하는 '통합임베딩(Layer 0)'을 구축했습니다. 대규모 연산에 적합한 TransE 알고리즘을 도입하고, 행동 로그 유무에 따라 Warm 모델과 Cold 모델로 이원화하여 동적/정적 관계를 모두 대응하도록 설계했습니다.

The Result

개인화 푸시에 적용하여 대조군 대비 CTR이 21.3% 상승했으며, 발송 컷오프 정책을 결합해 푸시 발송량을 26% 줄였음에도 발송당 거래액은 57% 증가했습니다. 개별 전용 파이프라인을 단일 백본 모델로 대체함으로써 인프라 운영 부담을 줄이고 여러 추천 영역의 성능을 동반 상승시켰습니다.

Trade-off

유저의 취향 변화와 신규 데이터 유입에 대응하기 위해 주기적인 전체 재학습 비용이 지속적으로 발생합니다. 또한 공통 백본 레이어의 미세한 하락이 상단의 모든 downstream 서비스 품질에 영향을 미치므로 고도의 다단계 평가 검증 체계 구축이 동반되어야 합니다.

03

Key Concepts

Concept · 01

지식 그래프 임베딩 (Knowledge Graph Embedding)

현실 세계의 다양한 엔티티와 이들의 관계를 지식 그래프 형태로 표현하고, 이를 저차원 벡터 공간으로 매핑하는 머신러닝 기법입니다. 개별 행동을 단편적으로 학습하는 대신 데이터 간의 풍부한 연결 맥락과 관계성을 통합적으로 학습할 수 있습니다.

  • 유저, 상품, 브랜드, 카테고리를 노드로 정의하고 '클릭', '구매', '좋아요' 등의 행동을 관계(Relation)로 매핑해 구축함
  • 1억 5천만 건의 행동 데이터를 (주어, 관계, 목적어) 형태의 Triplet으로 변환하여 학습함
Concept · 02

TransE

지식 그래프 임베딩 방법론 중 하나로, 엔티티 사이의 관계를 벡터의 평행 이동(Translation)으로 나타내는 가볍고 효율적인 모델입니다. 연산량이 적어 억 단위의 대규모 데이터셋도 저비용으로 빠르게 학습할 수 있는 강점이 있습니다.

  • 통합임베딩 공간을 128차원으로 설계하고 TransE 알고리즘을 사용해 대규모의 그래프 관계를 효율적으로 연산함
  • 유저 벡터에 '클릭'이나 '구매' 등의 관계 벡터를 더하는 간단한 벡터 연산만으로 개인화 추천 스코어링을 구현함
Concept · 03

Cold-start 대응 이원화 모델 (Warm & Cold Model)

데이터가 충분한 사용자(Warm)와 데이터가 없거나 극히 적은 신규 사용자(Cold)를 분리하여 서로 다른 방식으로 표현 벡터를 생성하는 구조입니다. 신규 유입 유저에게도 즉각적으로 적절한 벡터 좌표를 제공하여 개인화 추천의 커버리지를 극대화합니다.

  • 충분한 행동 로그가 있는 유저는 TransE 기반의 Warm 모델로 직접 임베딩을 학습함
  • 행동이 없는 유저는 성별, 연령 등의 속성 임베딩 평균을 결합하는 Cold 모델을 구현해 공통 공간에 배치함