대규모 URL 정규화의 진화: 핀터레스트의 MIQPS를 통한 중복 콘텐츠 제거 전략
Summary
"똑같은 페이지를 왜 자꾸 렌더링해?" 핀터레스트가 수십억 개의 중복 URL을 걸러내는 비결
단순한 정규식을 넘어, 시각적 데이터로 파라미터의 가치를 판단하는 MIQPS 알고리즘의 모든 것
이 아티클은 핀터레스트가 수백만 도메인의 복잡한 URL 구조 속에서 어떻게 핵심 파라미터만 골라내는지 설명합니다. 기존 수동 규칙의 한계를 극복하기 위해 도입된 데이터 기반의 MIQPS 알고리즘과 이를 안정적으로 운영하기 위한 다계층 아키텍처 및 이상 탐지 전략을 심도 있게 다룹니다.
- 01시각적 핑거프린트를 활용한 파라미터의 콘텐츠 영향도 자동 판별
- 02도메인별 고유한 파라미터 특성을 반영한 동적 MIQPS 맵 생성
- 03정적 규칙(Static Rules)과 동적 알고리즘이 조화된 하이브리드 정규화 전략
- 04이상 탐지(Anomaly Detection) 레이어를 통한 정규화 규칙 배포 안정성 확보
- 05오프라인 배치를 통한 런타임 오버헤드 최소화 및 비용 효율적 아키텍처
RECOMMENDATION
대규모 크롤링이나 데이터 인제스션 파이프라인에서 중복 제거 및 리소스 절감이 고민인 백엔드 엔지니어들에게 이 아티클의 아키텍처를 강력히 추천합니다.
The Problem
수백만 개의 도메인에서 수집되는 URL들이 UTM, 세션 토큰 등 무수한 트래킹 파라미터를 포함하고 있어, 동일한 페이지임에도 불구하고 개별적으로 수집 및 렌더링되어 막대한 컴퓨팅 자원이 낭비되었습니다.
The Solution
파라미터 제거 전후의 시각적 콘텐츠 핑거프린트(Content ID)를 비교하여 각 파라미터의 중요도를 자동으로 학습하는 MIQPS(Minimal Important Query Param Set) 알고리즘을 도입하고, 이를 정적 규칙과 결합한 다계층 정규화 파이프라인을 구축했습니다.
The Result
대규모 도메인에 대해 동적으로 URL을 정규화하여 중복 처리를 방지하고, 쇼핑 카탈로그의 일관성을 확보했으며 하이엔드 검색 및 추천 시스템의 품질을 향상하는 성과를 거두었습니다.
Trade-off
실시간 처리가 아닌 오프라인 배치 방식을 채택하여 패턴 업데이트 시 약간의 지연이 발생할 수 있으며, 데이터 유실을 방지하기 위해 불확실한 경우 파라미터를 유지하는 보수적인 정책을 취하고 있습니다.
Key Concepts
More from Pinterest
View all posts from Pinterest핀터레스트 홈 피드를 위한 조건부 학습 검색(CLR) 확장하기
Recommendation SystemsLearned RetrievalTransformer3일 전피너의 성장: 핀터레스트의 주간 활성 사용자 증가를 이끄는 유스케이스 표현 개선 사례
Recommendation SystemsClusteringEmbeddings1개월 전대규모 인프라 보안 확보: 핀터레스트의 리소스 프로비저너 파이프라인(RPP) 도입기
TerraformAWSGitHub Actions1개월 전핀터레스트 파운데이션 모델을 위한 선형에 가까운 학습 확장성 달성
Distributed TrainingPyTorchNCCL2개월 전핀터레스트의 차세대 DB 인제스션 프레임워크 내 자동화된 스키마 진화
CDCApache IcebergFlink2개월 전