클라우드 ID를 자체 ID로 전환하기: 관리형 컴퓨팅 환경에서의 워크로드 증명
Summary
AWS가 주는 임시 ID는 이제 그만! 넷플릭스가 Spark 워크로드에 무결점 자체 신원을 부여한 방법
AWS IAM과 넷플릭스 자체 PKI를 안전하게 매핑하여 상호 신뢰를 검증하는 어테스테이션(Attestation) 아키텍처
이 아티클은 관리형 퍼블릭 클라우드 컴퓨팅 환경에서 사내 전용 제로 트러스트 보안 네트워크를 유지하는 엔지니어링 도전을 다룹니다. Amazon EMR에서 실행되는 Apache Spark 워크로드에 넷플릭스 자체 PKI(X.509) 인증서를 안전하게 발급하기 위해, 통신 주체 검증과 AWS STS 기반 증명을 정교하게 조율하는 교차 검증 구조를 설계했습니다.
- 01Data Project 신원과 전용 AWS IAM 역할을 1:1로 견고하게 고정하여 이기종 시스템 간 신뢰 전환을 가능하게 만듦
- 02AWS STS GetCallerIdentity 사전 서명된 URL을 통해 워크로드가 거짓말을 할 수 없는 강력한 소유 증명(Proof of Possession) 확보
- 03제어 평면의 신원 의도 서명과 AWS 플랫폼의 실시간 신원 조회를 결합해 어느 한쪽도 단독으로 신원을 위조할 수 없도록 교차 검증
- 04대규모 병렬 처리로 인한 API 소모를 막기 위해 드라이버가 대표로 어테스테이션을 수행하고, 보안 RPC 환경을 거쳐 실행기(Executor)에게 권한을 안전하게 위임 및 배포
- 05단기 보존 인증서의 만료 전에 자동으로 백그라운드 재귀 증명 타이머를 트리거하도록 설계하여 지속적인 세션 유지 보장
RECOMMENDATION
멀티 테넌트 관리형 클라우드 플랫폼에서 프라이빗 인프라로의 통신 보안을 유지하고, 사내 mTLS 메시 환경을 외부 클라우드로 확장하려는 보안 및 인프라 설계자에게 강력히 권장합니다.
The Problem
넷플릭스는 자체 PKI 시스템인 Metatron을 통해 내부 서비스 간 상호 TLS(mTLS) 인증을 구현했으나, Amazon EMR과 같은 외부 관리형 컴퓨팅 환경의 Apache Spark 워크로드는 AWS IAM 실행 역할만을 보유하고 있어 내부 고유 신원 증명이 어려웠습니다.
The Solution
Data Project ID와 AWS IAM 역할을 1:1로 매핑한 후, 제어 평면의 서명된 메타데이터 청구(Claim)와 Spark 드라이버가 AWS STS를 통해 발급받은 사전 서명된 URL(Pre-signed URL)을 함께 Identity 서비스에 전송하여 두 정보를 상호 검증한 후 X.509 내부 인증서를 발급하도록 구현했습니다.
The Result
대규모 분산 환경에서 AWS 인프라 제어 영역과 격리되어 안전하게 넷플릭스 고유 ID를 발급받을 수 있게 되었으며, Spark 드라이버가 최초 인증 후 내부 보안 RPC를 통해 실행기들에게 배포함으로써 AWS STS 호출 제한 문제도 방지했습니다.
Trade-off
드라이버가 실행기(Executor)로 자격 증명을 배포하는 구조를 도입하면서 내부 RPC 망에 대한 두 번째 신뢰 경계(Trust Boundary)가 발생했으며, 메타데이터와 AWS STS 정보의 정합성을 검증하기 위한 추가적인 네트워크 왕복 비용 및 서명 관리 오버헤드가 추가되었습니다.
Key Concepts
More from Netflix
View all posts from Netflix클래스 패스는 백미러 너머로: 모던 자바 개발을 위한 모듈 네이티브 CLI 도구
JavaJPMSCLI1주 전MAPS: 넷플릭스의 대규모 멀티모달 에셋 개인화
CLIPMediaFMRecommendation Systems4주 전두 개의 플링크 오토스케일러 이야기
Apache FlinkAutoscalingStream Processing1개월 전넷플릭스가 실시간 분산 그래프를 구축한 방법과 이유: 3부 — gRPC 실행 API를 통한 그래프 쿼리
gRPCGraph DatabaseDistributed Systems1개월 전분석을 위한 디바이스 사양 모델링
Data ModelingFeature ManagementAnalytics1개월 전