일 41TB, 200억 건의 로그를 ClickStack으로 실시간 처리하기 - 호그와트 도서관 프로젝트
Summary
"하루 41TB 로그도 20초면 OK!" 카카오페이증권이 OpenSearch를 버리고 ClickHouse로 간 이유
비용 85% 절감과 성능 26배 향상을 동시에 달성한 PB급 로그 플랫폼 '호그와트 도서관' 프로젝트
폭발적으로 증가하는 로그 데이터를 처리하기 위해 기존 OpenSearch의 한계를 극복하고 ClickHouse 중심의 가시성 스택으로 전면 재설계한 과정을 담고 있습니다. 수집기부터 저장소, 아카이빙 구조까지 엔지니어링 관점에서 최적화하여 대규모 트래픽 환경에서의 인프라 효율성을 극대화한 사례입니다.
- 01OpenTelemetry OTLP Proto 도입으로 JSON 대비 데이터 크기 40~60% 절감 및 처리량 18배 향상
- 02300여 개의 파편화된 Kafka 토픽을 18개로 통합하고 파티션 전략을 재설계하여 브로커 부하 감소
- 03로그 레벨(Fast/Common/Debug)별 컨슈머 풀 분리를 통해 피크 타임에도 핵심 로그의 실시간성 보장
- 04ClickHouse의 컬럼형 저장 방식과 ZSTD 압축을 활용하여 데이터 저장 공간 및 비용 대폭 감소
- 05자체 개발한 'ssak3' 툴로 S3 아카이빙과 ClickHouse 장기 조회를 연동하여 Athena의 성능 한계 극복
RECOMMENDATION
로그 데이터 급증으로 인한 비용 부담과 조회 성능 저하를 겪고 있는 데이터 플랫폼 엔지니어 및 DevOps 팀에 강력히 추천합니다. 특히 정형화된 로그의 고속 집계와 저비용 장기 보관이 필요한 대규모 시스템 설계에 실질적인 가이드를 제공합니다.
The Problem
카카오페이증권의 서비스 성장에 따라 로그량이 일 41TB, 200억 건으로 폭증하면서 기존 OpenSearch 기반 시스템에서 수 시간의 적재 지연과 5분 이상의 조회 지연, 그리고 기하급수적인 비용 상승 문제가 발생했습니다.
The Solution
ClickHouse, OpenTelemetry, HyperDX를 결합한 'ClickStack' 아키텍처를 도입하고, OTLP Proto 인코딩과 배치 전송, Kafka 토픽 통합 및 로그 레벨별 처리 풀(Pool) 분리, 그리고 S3 기반의 장기 보관 시스템인 'ssak3'를 구축했습니다.
The Result
로그 적재 지연 시간을 20초 이내로 단축시켰으며, 인프라 운영 비용을 기존 대비 85.6% 절감하고 처리 성능을 1 Core당 26배 향상시키는 성과를 거두었습니다.
Trade-off
ClickHouse는 OpenSearch에 비해 전문 검색(Full-text Search) 기능이 약하지만, 본문에서는 시간 범위와 필터 조건 기반의 쿼리 패턴을 분석하여 Primary Key 설계로 이를 보완했습니다. 또한 Buffer 테이블 사용 시 노드 장애에 따른 데이터 유실 위험이 있으나, Kafka 재처리와 짧은 Flush 주기로 리스크를 관리하고 있습니다.
Key Concepts
More from 카카오페이
View all posts from 카카오페이
2025 TAM CONNECT: 카카오페이 x 토스, 기술지원의 미래를 함께 그리다
Technical Account ManagementTAMOperational Excellence1개월 전
공통 컴포넌트를 건강하게 기르기 위한 고민
ReactComponent LifecycleHeadless UI3개월 전
2026년 카페개페, AI와 함께한 현장 스케치
카카오페이DevRel개발자페스티벌3개월 전
수억 건의 데이터, 맛있게 쪼개 먹는 방법 (with. Partitioning)
Spring BatchPartitioningMongoDB3개월 전
SDD (spec-kit) 에이전트 코딩 실전기
SDDSpec-kit에이전틱 코딩4개월 전