Read Original
#AI

채팅으로 디자인하는 AI, 실제로 쓸까? — A/B 테스트와 사용자 행동 분석기

채팅으로 디자인하는 AI, 실제로 쓸까? — A/B 테스트와 사용자 행동 분석기
01

Summary

"느려서 떠난 줄 알았는데..." 미리캔버스가 AI 디자이너 이탈 유저 챗 로그를 까본 결과!

A/B 테스트와 발화 분석으로 AI 에이전트의 환상을 깨고 진짜 사용자 맥락을 찾아낸 4주간의 데이터 분석기

미리캔버스 에디터 내 AI 디자이너 MVP 출시 후 발생한 사용자 이탈 원인을 규명하기 위해 4주간 A/B 테스트와 챗 로그 발화 분석을 진행했습니다. 응답 속도 지연뿐만 아니라 '미지원 기능 요청'이 주된 이탈 요인임을 파악하고, 캔버스 맥락을 활용한 단발 명령형 UX라는 제품 개선 방향을 도출했습니다. 데이터 분석이 단순 수치 집계를 넘어 실제 제품 의사결정에 어떻게 기여했는지를 잘 보여줍니다.

  • 01대화 스레드의 절반 이상이 단발 요청으로 종료된 원인을 '1일 1턴' 사용자 세그먼트 발화 분석으로 정밀 진단
  • 02이탈 원인을 미지원 기능 요청형과 응답 지연형으로 명확히 세분화하여 제품 개선 우선순위 설정
  • 03캔버스 요소를 선택한 상태의 짧은 맥락 기반 요청이 실제 다운로드 완료율 지수가 가장 높음을 확인
  • 04LLM 호출 시간 최적화를 통해 AI 꾸미기 기능의 평균 응답시간을 10초 단축하는 정량적 성과 달성
  • 05단순 통계적 유의성 검정을 넘어 MDE 한계와 정성 데이터의 편향성까지 고려한 보수적 지표 해석 프로세스 구축

RECOMMENDATION

LLM 기반 AI 에이전트를 기존 SaaS 제품에 통합하려는 데이터 분석가 및 PM/PO에게 적극 추천합니다. 단순 유입량 지표에 속지 않고 사용자 발화 패턴과 입력 맥락에 따른 이탈 분석 방법론을 실무에 바로 적용해볼 수 있습니다.

The Problem

미리캔버스 에디터 내 'AI 디자이너' MVP 출시 후 대화 스레드의 절반 이상이 단발성 요청(1턴)으로 끝나고 도구 결과 채택률 및 주간 리텐션이 기대치에 미치지 못하는 이탈 문제가 발생했습니다.

The Solution

단순 응답 지연 가설 외에도 '1일 1턴' 사용자 세그먼트를 추출하고 발화 패턴(편집, 탐색, 생성 등)과 도구 호출 여부를 정밀 분석하여 미지원 기능 요청형 이탈과 응답 지연형 이탈을 명확히 구분했습니다. 또한 캔버스 요소 선택 여부 등 입력 맥락별 채택률과 다운로드율 차이를 검증하고 A/B 테스트 지표 기준을 세분화했습니다.

The Result

AI 꾸미기 기능 LLM 호출 시간 개선을 통해 평균 응답시간을 40초에서 30초로 10초 단축시켰으며, 단순 유입 확대보다 캔버스 맥락 기반 수정 경험 및 단발 명령형 UX에 집중하도록 실제 제품 로드맵을 조정했습니다.

Trade-off

초기 기대와 달리 추가 진입점 제공이 단기 사용량 증가로 이어지지 않았으며, MDE(최소 검출 가능 효과) 제약으로 인해 다운로드율 변화의 통계적 유의미성을 최종 입증하기 어려워 추후 후속 검증이 필요한 한계가 존재합니다.

03

Key Concepts

Concept · 01

1일 1턴 사용자 세그먼트

특정 기간 동안 하루에 단 한 번의 요청만 보내고 이후 재방문하지 않은 이탈 유저 집단을 별도로 정의한 분석 세그먼트입니다.

  • 재방문 유저의 다량 요청 데이터로 인한 착시 현상을 방지하기 위해 이탈 유저 발화 분석 대상으로 활용했습니다.
Concept · 02

도구 결과 채택률 (Tool Adoption Rate)

AI 에이전트가 호출한 도구의 결과물 중 사용자가 실제로 캔버스에 적용하거나 채택한 비율을 의미합니다.

  • 단일 결과형과 목록형 도구의 분모 정의를 분리하여 지표 산출의 일관성을 확보했습니다.
Concept · 03

MDE (Minimum Detectable Effect)

실험을 통해 통계적으로 유의미하게 검출할 수 있는 최소한의 효과 크기입니다.

  • 실제 관측된 지표 차이가 MDE보다 작은 경우 효과가 없다고 단정하지 않고 실험 결과 해석에 신중함을 기했습니다.