KOEN
Read Original
#AI

넷플릭스 파운데이션 모델을 개인화 애플리케이션에 통합하기

넷플릭스 파운데이션 모델을 개인화 애플리케이션에 통합하기
01

Summary

넷플릭스가 대규모 파운데이션 모델을 서비스에 이식한 3가지 실전 가이드

임베딩, 서브그래프, 파인튜닝 패턴을 통해 레이턴시와 비용, 정확도 사이의 최적 균형점 찾기

넷플릭스 엔지니어링 팀이 대규모 개인화 파운데이션 모델을 기존 프로덕션 시스템에 적용하기 위해 채택한 3가지 아키텍처 패턴과 노하우를 공개합니다. 저비용으로 도입할 수 있는 임베딩 방식부터 실시간성을 보장하는 서브그래프 연동 및 맞춤형 파인튜닝까지, 서비스 특성에 맞춘 현명한 기술 선택의 기준을 제시합니다.

  • 01재학습 시 발생하는 벡터 공간의 편차를 줄이기 위한 임베딩 안정화(Embedding Stabilization) 기술 적용
  • 02임베딩 지연 문제를 해결하기 위해 유저 세션 내 행동을 실시간 반영하는 근실시간(Near-realtime) 프레임워크 개발
  • 03추론 지연을 줄이기 위해 서브그래프를 프로필당 요청 1회만 실행하고 항목 간 공유하는 최적화 달성
  • 04새로운 애플리케이션 개발 시 수개월의 피처 엔지니어링 없이 파인튜닝 모델을 즉시 기본 모델로 활용

RECOMMENDATION

대형 머신러닝 모델을 프로덕션 환경에 이식할 때 레이턴시와 컴퓨팅 비용 및 구현 복잡도 사이에서 고민하는 MLOps 및 ML 엔지니어에게 적극 추천합니다.

The Problem

넷플릭스 홈 화면을 구동하는 수많은 개별 특화 모델들을 각각 유지 관리하고 지속적으로 혁신하는 데 막대한 시간과 리소스가 소요되는 문제가 있었습니다.

The Solution

사용자 상호작용 이력과 콘텐츠 데이터를 통합 학습하는 파운데이션 모델을 구축하고, 이를 임베딩 추출, 서브그래프 결합, 파인튜닝 등 3가지 연동 방식을 통해 다양한 서비스 애플리케이션에 통합했습니다.

The Result

애플리케이션별 레이턴시, 기술 스택, 컴퓨팅 제약에 맞춘 연동 구조를 완성하고 신규 서비스 구축 시 피처 엔지니어링 개발 기간을 크게 단축했습니다.

Trade-off

임베딩 방식은 데이터 신선도 저하가 발생할 수 있으며, 서브그래프 및 파인튜닝 방식은 컴퓨팅 비용 증가, 추론 지연 시간 상승 및 파이프라인 관리 복잡도를 가중시킵니다.

03

Key Concepts

Concept · 01

Embedding Store (임베딩 스토어)

모델이 생성한 벡터 임베딩의 버저닝과 타임스탬프를 관리하고 온/오프라인 인터페이스를 제공하는 특화된 피처 스토어입니다.

  • 파운데이션 모델이 매일 배치 추론으로 생성한 유저 및 아이템 임베딩을 저장하고 다운스트림 모델에 서빙하는 데 활용되었습니다.
Concept · 02

Subgraph Integration (서브그래프 통합)

파운데이션 모델의 디코더 스택을 다운스트림 애플리케이션 모델 그래프의 일부로 결합하여 원천 이력 신호를 직접 연산하는 패턴입니다.

  • 추론 지연을 유발하는 시차를 없애 최신 학습 데이터를 반영하며, 요청당 프로필 단위 연산을 1회만 실행하도록 최적화했습니다.
Concept · 03

Embedding Stabilization (임베딩 안정화)

모델을 처음부터 재학습하거나 매일 파인튜닝할 때 발생하는 임베딩 공간의 무작위 표출과 드리프트를 조정하는 기술입니다.

  • 새로 생성되는 임베딩을 매일 동일한 공간 구조로 매핑하여 다운스트림 모델이 안정적으로 피처를 소비할 수 있게 해줍니다.