#AI

Gemini 기반 테스트 케이스 자동화 실패와 성공기

Summary

"전부 다 해줘"는 왜 실패했을까? 무신사가 찾은 AI 테스트 케이스 자동화의 정답

Gemini를 활용해 TC 작성 시간을 40% 단축하고 QA 엔지니어를 단순 반복 업무에서 해방시킨 분할 도출 전략

무신사 QA 팀이 Gemini를 이용해 테스트 케이스 작성을 자동화하며 겪은 시행착오와 이를 극복한 '분할 도출 프로세스'를 소개합니다. 방대한 기획서를 한 번에 처리하려다 실패한 경험을 바탕으로, AI의 집중력을 극대화할 수 있도록 단계를 쪼개고 구조화하여 실무에 성공적으로 안착시킨 과정을 담고 있습니다.

01방대한 문서 주입 시 발생하는 'Lost in the Middle' 현상과 AI 주의력 분산 문제 분석
02학습, 목차화, 개별 생성으로 이어지는 3단계 '분할 도출 프로세스' 설계
03컴포넌트 단위 분리를 통해 테스트 케이스 도출 건수를 33건에서 104건으로 3배 이상 향상
04TSV 형식 지정을 통해 구글 스프레드시트와의 호환성을 확보하는 실무 프롬프트 팁
05전체 TC의 82%를 AI가 생성하며 업무 일정을 약 40% 단축한 정량적 성과 증명

RECOMMENDATION

LLM을 활용한 문서 자동화를 고민 중인 QA 엔지니어라면, AI에게 모든 것을 한 번에 맡기기보다 '작게 나누어 질문하기'와 '인간의 중간 검토'를 결합한 파이프라인 설계를 권장합니다.

The Problem

서비스 고도화로 인해 테스트 케이스(TC) 작성에 필요한 시간과 리소스가 기하급수적으로 증가하며 QA 엔지니어의 업무 부담이 커졌습니다. 초기 AI 도입 시 방대한 기획서를 한 번에 입력하여 TC를 도출하려 했으나, 핵심 로직 누락 및 낮은 커버리지 등 성능 저하 문제가 발생했습니다.

The Solution

태스크를 작게 나누어 순차적으로 처리하는 '분할 도출 프로세스'를 도입하였습니다. 가이드 및 기획서 사전 학습, 컴포넌트 목차화, 컴포넌트별 개별 TC 생성의 3단계를 통해 AI가 한 번에 처리해야 할 정보량을 줄이고 특정 주제에 대한 집중도를 높였습니다.

The Result

전체 과제의 약 81.4%에 AI를 적용하였으며, 작성된 TC의 82.6%를 AI가 생성함으로써 전체 업무 시간을 약 40% 단축하는 성과를 거두었습니다. 이를 통해 확보된 시간은 프로세스 개선 및 자동화 스크립트 작성 등 더 생산적인 엔지니어링 업무에 투입되었습니다.

Trade-off

LLM의 'Lost in the Middle' 현상으로 인해 입력 데이터가 길어질수록 중간 정보의 누락 가능성이 존재하며, AI가 사전 설정된 배경 규칙보다 최근의 지시사항을 우선시하는 경향이 있어 지속적인 가이드 리마인드가 필요합니다.

Key Concepts

Concept · 01

Lost in the Middle

LLM이 긴 컨텍스트를 처리할 때 입력값의 처음과 끝부분은 잘 기억하지만, 중간에 위치한 세부 정보를 누락하거나 주의력이 떨어지는 현상입니다.

방대한 기획서를 한 번에 주입했을 때 중간에 명시된 복잡한 비즈니스 로직이나 예외 케이스를 무시하는 원인이 됨

Concept · 02

분할 도출 프로세스

복잡한 과업을 한 번에 실행하지 않고 학습, 목차 생성, 세부 내용 도출의 단계로 나누어 순차적으로 처리하는 프롬프트 전략입니다.

AI의 정보 처리 부하를 줄여 결과물의 정합성을 높임
본격적인 TC 작성 전 사람이 목차를 검수하여 누락된 기능을 조기에 발견할 수 있게 함

Concept · 03

TSV (Tab-Separated Values)

탭(Tab) 문자를 구분자로 사용하는 데이터 형식으로, 엑셀이나 구글 스프레드시트 등 표 계산 프로그램과 높은 호환성을 가집니다.

AI 결과물을 즉시 실무 문서에 활용하기 위해 줄바꿈("\n")과 탭("\t")이 포함된 셀 형식을 프롬프트로 강제함

Continue reading · same source

More from 무신사

View all posts from 무신사

Gemini 기반 테스트 케이스 자동화 실패와 성공기

Summary