실시간으로 업데이트되는 게스트 여정: Chronon을 활용한 에어비앤비 시퀀스 추천 시스템 확장
Summary
검색 결과 반영에 2일 걸리던 에어비앤비, '10초' 만에 실시간 추천하는 비결은?
오픈소스 피처 플랫폼 Chronon에 Push Mode와 NRT Model Transform을 탑재하여 실시간 추천 한계를 돌파한 에어비앤비의 아키텍처 혁신
에어비앤비가 사용자의 최근 탐색 이력을 실시간으로 검색 랭킹에 반영하기 위해 머신러닝 피처 플랫폼 Chronon을 고도화했습니다. 기존의 일 단위 배치 추론 방식에서 벗어나 이벤트 기반 실시간 스트리밍 파이프라인을 구축했으며, 이를 통해 랭킹 품질과 실제 비즈니스 지표를 크게 향상시켰습니다. 본 아티클은 에어비앤비가 직면한 실시간 데이터 동기화의 기술적 도전 과제와 이를 플랫폼 관점에서 범용적으로 해결한 방안을 소개합니다.
- 01배치 기반에서 1분 미만(10~30초)의 실시간 임베딩 업데이트 아키텍처로 완전한 체질 개선 성공
- 02오프라인 평가 결과 NDCG +1.67% 상승이라는 고도화된 추천 시스템 내 대규모 성능 지표 개선 달성
- 03실제 서비스 환경(A/B 테스트)에서 취소되지 않은 예약률이 약 0.33% 증가하며 비즈니스 가치 입증
- 04범용 플랫폼 기능(Push Mode, NRT Model Transform)으로 개발하여 에어비앤비 내 다른 추천 모델에도 즉시 적용 가능하도록 설계
- 05스트리밍 파이프라인 내부에서 오프라인 훈련 모델과 동일한 추론 로직을 일관되게 재사용하여 데이터 정합성 유지
RECOMMENDATION
실시간 추천 시스템 구축 시 전용 실시간 파이프라인을 별도로 구축하기보다, Chronon과 같은 머신러닝 피처 플랫폼 수준에서 공통 기능을 정의하고 확장하는 것이 인프라 효율성과 개발 일관성을 극대화하는 좋은 전략입니다.
The Problem
에어비앤비의 기존 검색 랭킹 모델은 게스트 여정을 반영하기 위해 배치 작업을 사용했으나, 배치 처리 지연으로 인해 최대 2일의 데이터 실시간성 격차가 발생하여 현재 탐색 중인 게스트의 최신 검색 의도를 즉각적으로 반영하지 못했습니다.
The Solution
에어비앤비는 오픈소스 피처 플랫폼인 Chronon에 'Push Mode'와 'NRT Model Transform' 기능을 도입하여, 실시간 스트리밍 데이터 이벤트 발생 시 즉각적으로 모델 추론(트랜스포머 시퀀스 인코더)을 수행하고 임베딩을 업데이트하는 아키텍처를 구축했습니다.
The Result
임베딩 업데이트 지연 시간을 기존 2일에서 1분 미만(평균 10~30초)으로 단축하였으며, 오프라인 평가에서 추천 정확도(NDCG)가 +1.67% 향상되었고 온라인 A/B 테스트에서 취소되지 않은 예약률이 약 0.33% 증가하는 성과를 거두었습니다.
Trade-off
실시간 스트리밍 처리 및 인라인 모델 추론 도입으로 인해 기존 일일 배치 처리 대비 인프라 운영 복잡도와 스트리밍 계산 비용이 증가했을 것으로 추정되며, 이벤트 스트림의 순서 보장과 정합성 유지를 위한 고도화된 모니터링이 요구됩니다.
Key Concepts
More from Airbnb
View all posts from Airbnb모델을 넘어: 과학적 판단을 반영한 AI 인프라 엔지니어링
AI AgentsData ScienceUnstructured Data4일 전프로젝트 라이트하우스 3부 — project-lighthouse-anonymize를 소개합니다
Data PrivacyAnonymizationPython3주 전코로나19의 종식을 알게 된 방법 (그리고 우리 모델이 잊어야 했던 것들)
ForecastingBayesian MethodsMachine Learning1개월 전유연한 인증(Flexible Authentication): 에어비앤비의 수백만 사용자를 위한 인증 시스템 재설계
Server-Driven UIAuthenticationMobile Architecture1개월 전평가 주도 개발: 대규모 GenAI 평가를 통해 얻은 교훈
LLM EvaluationGenerative AIEval-Driven Development1개월 전