#Design

신입 디자이너가 꼭 알아야 할 실험 설계 팁

Summary

막막한 실험 설계, 데이터와 가설 사이에서 길을 찾아주는 속도와 임팩트의 기술

토스뱅크 인턴이 비회원 가입 전환율이라는 난제를 실험을 통해 해결해 나가는 실무 과정을 담고 있다. 단순히 예쁜 시안을 만드는 디자인을 넘어, 과거의 실패에서 위닝 패턴을 읽어내고 뾰족한 가설로 성과를 만들어내는 '데이터 기반 디자이너'의 성장기를 공유한다.

A/B 테스트를 처음 시작하는 주니어 기획자와 디자이너에게 강력 추천하며, 특히 실험의 방향성이 자꾸 흔들리거나 가설 수립 단계에서 어려움을 겪는 팀에 실용적인 체크리스트를 제공한다.

토스뱅크 비회원의 가입 전환율을 높여야 하는 상황에서, 복잡한 퍼널 중 개선 우선순위를 결정하는 기준과 수많은 기존 실험 데이터 속에서 효과적인 가설을 도출하는 데 어려움이 있었다.

실행 속도와 임팩트를 기준으로 인트로 화면을 우선 개선 대상으로 선정하고, 과거 실험의 단순 수치가 아닌 맥락(Why)을 분석했다. 이후 이미지 로딩 속도 최적화와 사용자 상황 중심의 문구 개선 등 명확한 단일 변수를 가진 가설을 수립하여 실험을 설계했다.

모호한 가설로 인한 첫 실험 실패 이후, 로딩 속도 개선 및 문구 최적화만으로 CTR과 CVR의 유의미한 상승을 확인했으며, 상황 상상 문구 도입을 통해 CTR 5% 추가 상승을 달성했다.

Trade-off

공통 모듈이나 법적 검토가 필요한 구간은 큰 개선 임팩트가 예상되더라도 실험의 빠른 반복과 속도를 위해 초기 개선 범위에서 제외하는 전략적 선택을 했다.

Concept · 01

실험을 실행하는 데 드는 시간적 비용과 성공했을 때 기대되는 비즈니스 효과를 교차 분석하여 우선순위를 정하는 의사결정 방식이다.

Concept · 02

사용자가 서비스에 유입되어 최종 목표 지점까지 도달하는 과정을 단계별로 나누어 이탈 지점을 찾아내는 분석 기법이다.

Concept · 03

디자인 변경 사항이 사용자 행동에 미칠 영향을 미리 예측하고, 이를 실험으로 검증할 수 있도록 논리적인 가설을 먼저 수립하는 디자인 프로세스다.

Continue reading · same source