KOEN
Read Original
#Backend

하나를 넘어 확장하기: 에어비앤비가 멀티 프로덕트 세상을 위해 데이터 아키텍처를 진화시킨 방법

하나를 넘어 확장하기: 에어비앤비가 멀티 프로덕트 세상을 위해 데이터 아키텍처를 진화시킨 방법
01

Summary

에어비앤비의 데이터 아키텍처 진화: 단일 숙박 서비스에서 '멀티 프로덕트' 시대로

일관된 통합 모델과 유연한 개별 모델 사이에서 최적의 균형점을 찾는 에어비앤비의 전략

에어비앤비가 숙박 위주의 데이터 아키텍처를 체험과 서비스까지 아우르는 다각화된 비즈니스 구조에 맞게 재설계한 과정을 다룹니다. 데이터 엔지니어링의 핵심인 '일관성'을 유지하면서도 각 서비스의 고유한 특성을 반영하기 위해 어떤 의사결정을 내렸는지 심도 있게 설명합니다. 향후 10년의 성장을 견인할 수 있는 확장 가능한 데이터 웨어하우스 구축의 실전 사례를 확인할 수 있습니다.

  • 01도메인 특성에 따라 통합(Monolithic) 또는 분리(Separate) 모델을 선택하는 명확한 기준 제시
  • 02조인(Join) 오류를 방지하기 위한 엄격한 식별자(ID) 명명 규칙 수립
  • 03데이터 웨어하우스를 로우 데이터와 분석 결과 사이의 '번역 레이어'로 정의
  • 04결제나 메시징처럼 여러 서비스가 공유하는 영역은 통합 모델로 관리하여 효율성 극대화
  • 05서비스 유형별로 다른 운영 시간(Business Hours)이나 위치 개념을 반영한 유연한 모델링

RECOMMENDATION

비즈니스 모델이 확장되거나 데이터 복잡도가 급격히 증가하는 단계의 데이터 엔지니어 및 분석가에게 강력히 추천합니다. 대규모 조직에서 데이터 표준화와 도메인 자율성을 동시에 확보하는 구체적인 프레임워크를 배울 수 있습니다.

The Problem

에어비앤비의 기존 데이터 인프라는 지난 10년 동안 '숙박(Homes)' 서비스에 맞춰져 있어, 새로운 프로덕트인 '체험(Experiences)'과 '서비스(Services)'를 통합하기에는 확장성이 부족했습니다. 파편화된 전략은 데이터 사일로를 만들고 분석의 일관성을 해치며 기술 부채를 심화시킬 위험이 있었습니다.

The Solution

중앙 집중식의 일관된 원칙과 도메인별 유연한 모델링 가이드라인을 결합한 새로운 프레임워크를 도입했습니다. 하이브리드 모델 금지, 일관된 식별자 명명법, 명확한 네임스페이스 조직이라는 3대 원칙을 수립하고 도메인 특성에 따라 '개별 모델' 또는 '통합 모델'을 선택하도록 했습니다.

The Result

핵심 서비스인 Homes의 안정성을 저해하지 않으면서 신규 서비스들을 성공적으로 통합했으며, 데이터 일관성과 분석 속도를 높일 수 있는 확장 가능한 기반을 마련했습니다. 다만 구체적인 수치보다는 정성적으로 확장성 및 통찰력 확보의 정확도가 개선되었음이 강조되었습니다.

Trade-off

표준화를 위해 수많은 하위 소비자가 존재하는 레거시 테이블과 대시보드를 이관하고 폐기하는 데 막대한 리소스와 시간이 소요되었습니다. 비즈니스 중단을 막기 위해 이중 파이프라인 운영과 긴 검증 주기를 거쳐야 하는 관리적 부담이 발생했습니다.

03

Key Concepts

Concept · 01

Offline Data Warehouse

서비스 운영에 직접 사용되는 온라인 시스템과 분리되어, 분석과 통계 처리에 최적화된 오프라인 데이터 저장 공간입니다.

  • 분석가들이 신속하고 정확하게 통찰력을 얻을 수 있도록 돕는 핵심 인프라로 정의됨
  • 원시 데이터를 표준화된 소스로 변환하는 번역 레이어 역할을 수행함
Concept · 02

Monolithic vs Separate Modeling

데이터의 재사용성을 극대화하기 위해 하나로 통합할 것인지, 도메인의 유연성을 위해 별도로 분리할 것인지를 결정하는 모델링 전략입니다.

  • 공통 속성이 많은 결제, 메시징 시스템은 통합 모델을 채택함
  • 제품별 속성 차이가 큰 리스팅, 가용성 정보 등은 분리 모델을 선택함
Concept · 03

Namespace Organization

데이터 테이블의 소유권과 목적에 따라 논리적인 공간을 구분하여 관리함으로써 데이터 관리의 복잡성을 낮추는 기법입니다.

  • 제품별 전용 네임스페이스와 글로벌 공통 네임스페이스를 엄격히 분리함
  • 팀별 네임스페이스를 통해 중간 테이블과 자산을 유연하게 관리함