KOEN
Read Original
#Backend

타임시리즈 계층화 스토리지 여정: Kafka/Flink 스트리밍에서 카산드라 네이티브 콜드 리드로의 진화

타임시리즈 계층화 스토리지 여정: Kafka/Flink 스트리밍에서 카산드라 네이티브 콜드 리드로의 진화
01

Summary

넷플릭스는 어떻게 페타바이트급 시계열 데이터 저장 비용을 극적으로 낮췄을까?

Kafka·Flink 스트리밍 파이프라인에서 S3 카산드라 백업 직접 조회 방식까지의 아키텍처 진화기

넷플릭스는 급증하는 시계열(TimeSeries) 데이터의 보존 비용을 절감하기 위해 계층화 스토리지(Tiered Storage) 아키텍처를 도입했습니다. 기존의 Kafka/Flink 기반 S3 스트리밍 파이프라인에서 발생하는 복잡성과 인프라 비용을 극복하고, 카산드라 4.1의 커스텀 Memtable을 활용해 S3 백업을 직접 읽어오는 네이티브 구조로 진화시킨 아키텍처 혁신을 소개합니다.

  • 01Kafka/Flink 및 일간 Compaction Job을 통한 S3 Parquet 저장 및 150ms(p50) 읽기 지연시간 달성
  • 02SSTable 간 토큰 중복을 제거해 읽기 팬아웃을 최소화하는 ReadOnlyCompactionStrategy(ROCS) 개발
  • 03Cassandra 4.1 Pluggable Memtable 기반으로 별도 스트리밍 없이 S3 카산드라 백업을 직접 조회하는 'backupmemtable' 구현
  • 04불가변 데이터 특성에 맞춰 Read Repair 및 Speculative Retry를 비활성화하고 S3 프리페치/캐싱 최적화 적용

RECOMMENDATION

대규모 Cassandra 및 S3 기반 계층화 스토리지 구축을 고민하는 데이터 플랫폼 엔지니어와 백엔드 아키텍트에게 실무 적용 관점의 훌륭한 레퍼런스가 될 것입니다.

The Problem

Netflix의 TimeSeries 플랫폼은 페타바이트 규모의 대용량 시계열 데이터를 관리하지만, 밀리초 단위 저지연 조회를 위해 구축된 카산드라 핫 스토리지에 오래된 이력 데이터를 계속 보관하는 것은 비효율적이고 극심한 인프라 비용을 발생시킵니다.

The Solution

초기에는 Kafka/Flink를 이용해 S3에 Parquet 파일로 데이터를 실시간 저장하고 압축(Compaction)하는 방식을 도입했습니다. 이후 스트리밍 파이프라인의 인프라 비용과 운용 복잡성을 줄이기 위해 Cassandra 4.1의 플러그러블 Memtable과 새 컴팩션 전략(ROCS)을 활용하여 S3에 저장된 카산드라 스냅샷 백업을 직접 읽는 네이티브 콜드 스토리지 방식으로 전환했습니다.

The Result

이중 스트리밍 파이프라인과 추가 S3 데이터 전송 비용을 없애고 EBS 스토리지 비용을 크게 절감했습니다. 콜드 티어 데이터 조회 시 p50 지연시간 ~150ms, p99 지연시간 ~500ms 수준의 안정적인 읽기 성능을 달성했습니다.

Trade-off

카산드라 백업 기반 리드는 초기 Memtable 준비 시 S3에서 인덱스 및 메타데이터를 로컬 디스크로 다운로드하는 비동기 초기화 과정이 필요합니다. 또한 불변(Immutable) 콜드 데이터 특성에 맞추어 Read Repair 및 Speculative Retry 등의 일부 카산드라 장애 복구 기능이 제한됩니다.

03

Key Concepts

Concept · 01

ReadOnlyCompactionStrategy (ROCS)

데이터가 불변(Immutable) 상태가 된 시점에 SSTable들을 토큰 경계에 맞춰 단 1회 재압축함으로써 파일 간 영역 겹침을 없애는 읽기 최적화 컴팩션 전략입니다.

  • 불변 상태의 Time Slice 테이블에 적용되어 SSTable 중복 범위를 완벽히 격리합니다.
  • 단일 포인트 읽기 시 방문해야 하는 SSTable 수를 최소화하여 Tail Latency를 대폭 개선합니다.
Concept · 02

Pluggable Memtable

Apache Cassandra 4.1부터 제공되는 커스텀 Memtable 플러그인 아키텍처로, 데이터를 메모리 대신 외부 저장소 등 다른 위치에서 조작하도록 재정의할 수 있습니다.

  • 본문에서는 'backupmemtable'을 구현하여 콜드 타임 슬라이스 요청을 S3 백업 데이터로 라우팅했습니다.
  • Data.db를 제외한 인덱스 및 메타데이터 파일만 노드 로컬로 다운로드해 쿼리 플래닝 효율성을 높였습니다.
Concept · 03

Parquet Compaction Job

실시간 스트리밍 시 분산 생성된 소형 Parquet 파일들을 모아 정렬 및 최적화된 대형 Parquet 파일로 재구성하는 배치 작업입니다.

  • 4~8MB 크기의 소형 Row Group과 내장 Bloom Filter를 적용해 S3 범위 읽기 성능을 극대화했습니다.
  • 압축 완료 후 TimeSeries 컨트롤 플랜에 기록하여 핫 스토리지 데이터를 안전하게 삭제할 수 있게 지원합니다.