보이지 않는 품질, 데이터. 로그가 틀리면 고객도 틀린다
Summary
"로그가 틀리면 고객도 틀린다" 무신사가 앱 배포 전 데이터를 사수하는 기술
수동 검수에서 Snowplow 전환까지, 릴리스 리스크를 제로로 만드는 QE 자동화 전략
데이터 기반 의사결정이 중요한 커머스 환경에서 모바일 앱 로그의 품질은 비즈니스 신뢰도와 직결됩니다. 무신사 QE팀은 릴리스 후 수정이 어려운 모바일 앱의 제약을 극복하기 위해 UI 자동화 테스트와 로그 검증을 결합하여, 배포 전 데이터 무결성을 확보한 기술적 여정과 노하우를 공유합니다.
- 01"사람이 보던 걸 테스트 코드가 보게 하자": Appium과 BigQuery를 연동한 실시간 로그 검증 파이프라인 구축
- 02조기 발견의 힘: 배포 후에나 알 수 있었던 데이터 누락 이슈를 QE 단계에서 컷오프하여 리스크 최소화
- 03SDK 정책까지 파고든 디테일: iOS 로그 유실 문제를 해결한 백그라운드 flush 전략과 시나리오 설계
- 04확장 가능한 아키텍처: GA4에서 Snowplow와 Databricks로 이어지는 데이터 스택 변화에도 유연한 대응
- 05품질의 기준 변화: 로그 검수를 운영의 영역에서 릴리스 품질을 책임지는 QE의 영역으로 격상
RECOMMENDATION
데이터 기반 추천 시스템이나 실험을 빈번하게 진행하는 모바일 서비스 팀에게 강력히 권장합니다. 특히 QA 리소스 부족으로 로그 검증을 사후 모니터링에만 의존하고 있다면, 이 글의 자동화 프레임워크를 참고하여 배포 전 방어선을 구축하시기 바랍니다.
The Problem
기존 모바일 앱 로그 검수는 사람이 직접 프록시 툴을 사용하여 수동으로 확인하는 방식이었기에 이벤트 누락 위험이 높고 리소스 소모가 컸다. 또한 배포 주기가 정해진 앱의 특성상 배포 이후에 발견된 로그 오류는 즉시 수정이 어려워 추천이나 실험 결과 등 데이터 신뢰도에 악영향을 끼치는 리스크가 존재했다.
The Solution
Appium 기반의 UI 자동화 테스트와 로그 데이터 수집 시스템을 연동하여, 테스트 코드 실행 시 액션 전후의 타임스탬프를 기준으로 GA4 및 내부 수집 시스템의 데이터를 자동 추출하여 검증하는 체계를 구축했다. 로그 전송 정책을 고려하여 iOS 앱 종료 시 백그라운드 전환을 통해 로그 유실을 방지하고, 성공 및 실패 여부를 Slack으로 자동 알림 처리하는 파이프라인을 설계했다.
The Result
Android 필수 사용자 속성 누락 및 iOS 기기 정보 오수집 등 크리티컬한 이슈를 배포 전 최종 QE 단계에서 조기에 발견하여 데이터 품질을 확보했다. 수동 검수에 소요되던 시간을 단축하고 휴먼 에러를 방지함으로써 앱 릴리스의 안정성과 품질에 대한 자신감을 높였다.
Trade-off
현재는 모든 서비스 영역이 아닌 유입량이 가장 많은 홈 화면 및 핵심 섹션 위주로 적용되어 있어 전체 커버리지 확보에는 한계가 있다. 또한 로그 전송이 SDK 내부 정책에 의존하므로 테스트 시나리오 설계 시 백그라운드 전환과 같은 전송 트리거를 강제로 유도해야 하는 추가적인 구현 복잡도가 발생한다.
Key Concepts
More from 무신사
View all posts from 무신사
의심했던 범인은 알리바이가 있었다.
Java Flight RecorderSpring BatchAurora MySQL4일 전
LLM 비용 64% 절감, 캐시 히트율 98% 달성기
AWS BedrockPrompt CachingLangChain4j6일 전
VLM을 쓰지 않은 이유: Geometric Prior로 25배 빠른 의류 디테일컷 자동화
Object DetectionAWS LambdaComputer Vision1개월 전
AI 스페셜리스트와 자동사냥 — 하네스로 제어하는 AI 파이프라인
AI AgentHarness EngineeringQuery Optimization1개월 전
무신사 메가스토어 성수: 보이지 않는 기술, 선명해지는 경험
RFIDPOSESL2개월 전