핀터레스트의 차세대 DB 적재 프레임워크 내 파티션 완료 처리 기법
Summary
실시간 스트리밍 시대에 데이터가 다 들어왔다고 확신하는 법: 핀터레스트의 이벤트 시간 기반 파티션 완료 처리
Flink와 Iceberg의 메타데이터를 극대화하여 다운스트림 배치 작업의 지연과 데이터 누락 문제를 완벽하게 제어하는 아키텍처를 공개합니다.
본 아티클은 핀터레스트가 배치 기반 데이터 인제스션을 실시간 CDC 스트리밍 방식으로 마이그레이션하면서 겪은 데이터 완결성 판단 문제를 해결하는 과정을 다룹니다. 플링크와 아이스버그의 싱크 단에 직접 확장 기능인 Accumulators와 CommitProcessor를 구현하여 성능 저하 없이 파티션 완료 상태를 추적합니다. 최종적으로 데이터 신선도와 완결성 사이의 조율이 가능한 설정형 정책을 제공하여 다양한 다운스트림 시스템의 요구사항을 충족합니다.
- 01스트림 인제스션 전환 시 발생하는 언제 파티션이 완료되었는가에 대한 다운스트림 소비자의 근본적인 질문 해결
- 02플링크 커스터마이징을 통해 부가적인 인프라나 아웃오브밴드 서비스 없이 Iceberg 테이블 자체 속성으로 신호 제어
- 03t-digest 알고리즘 기반의 마이크로 스케치를 적용해 데이터 규모와 상관없이 단 수백 바이트로 완결성 상태 관리
- 04CDC 테이블에서 축적된 워터마크 의견을 스파크 배치 프로세스가 베이스 테이블로 자동 전파하는 메타데이터 파이프라인 구축
- 05완결성과 신선도 사이의 균형을 직접 튜닝할 수 있는 다양한 퍼센타일 기반의 최종화 정책 설계
RECOMMENDATION
실시간 CDC 스트리밍 환경에서 일관된 일 또는 시간 단위 배치 다운스트림 처리가 필요하거나, 이벤트 지연 데이터로 인해 배치 파이프라인 시작 시점을 결정하는 데 어려움을 겪는 데이터 엔지니어들에게 Flink-Iceberg 메타데이터 활용 패턴으로 적극 추천합니다.
The Problem
기존 배치 기반 시스템에서는 전체 DB를 한 번에 읽어 파티션을 쉽게 완료 처리할 수 있었으나, 실시간 스트리밍 기반의 차세대 CDC 프레임워크 도입 이후에는 이벤트 시간 지연으로 인해 특정 파티션의 데이터가 언제 완료되는지 판단하기 어려워졌습니다.
The Solution
아파치 플링크와 아이스버그 싱크에 Accumulators와 CommitProcessor라는 확장 포인트를 도입하여, 체크포인트별로 이벤트 시간 통계(t-digest 스케치)를 수집하고 커밋 후 비퇴행성 워터마크 알고리즘을 수행하여 파티션 완료 여부를 판단하도록 구현했습니다.
The Result
수백 바이트 수준의 초경량 메타데이터만으로 데이터를 자가 기술하며, 다운스트림 배치 작업이 센서를 통해 메타데이터를 확인하고 안전한 시점에 처리를 시작할 수 있게 되었으며, 이 신호는 스파크 업서트 작업을 통해 베이스 테이블까지 전파됩니다.
Trade-off
데이터 완결성과 대기 시간 사이의 트레이드오프가 존재하며, 신속성을 위해 퍼센타일 기반 정책을 선택할 경우 매우 늦게 도착하는 일부 데이터가 유실되거나 파티션 완료 마킹 이후에 도착하여 얼럿을 발생시킬 수 있습니다.
Key Concepts
More from Pinterest
View all posts from Pinterest투타워를 넘어: 3타워 인게이지먼트 공동 학습 모델 출시 (2부)
Recommendation SystemsMulti-Task LearningModel Serving1주 전NVIDIA Dynamo 기반 Pinterest의 VLM 서빙 스택 구축기
NVIDIA DynamovLLMBlackwell GPU2주 전AI 팀으로의 전환
Generative AIAI AgentsEngineering Management3주 전핀터레스트 홈 피드를 위한 조건부 학습 검색(CLR) 확장하기
Recommendation SystemsLearned RetrievalTransformer1개월 전피너의 성장: 핀터레스트의 주간 활성 사용자 증가를 이끄는 유스케이스 표현 개선 사례
Recommendation SystemsClusteringEmbeddings2개월 전
