AI를 활용한 테스트 자동화 도전기
Summary
개발 몰라도 ChatGPT와 함께라면 가능! 기획자가 직접 구현한 API 테스트 자동화
반복적인 수동 API 검증에서 벗어나 Python과 생성형 AI로 업무 효율을 극대화한 서비스 기획자의 생생한 도전기
멤버십 개편에 따른 복잡한 가입일자별 결제 검증 문제를 해결하기 위해 비개발자 기획자가 직접 생성형 AI와 협업하여 테스트 자동화를 구현했습니다. Python, pandas, pytest를 도구 삼아 규칙적이고 반복적인 수동 API 검증 작업을 자동화된 파이프라인으로 전환하는 데 성공했습니다. 직무의 한계를 넘어 기술적 도전을 통해 실제 업무 프로세스를 혁신한 성공적인 협업 모델을 제시합니다.
- 01생성형 AI(ChatGPT, Gemini)와의 자연어 대화를 통해 코드 작성을 진행하는 '바이브코딩' 실천
- 02pandas 라이브러리를 도입하여 CSV 형식의 대형 검증 데이터셋 로드 및 관리 프로세스 간소화
- 03httpx를 활용한 유연한 HTTP API 요청 송수신 및 응답 데이터 파싱 구현
- 04pytest 프레임워크의 assert 구문을 적용해 기대 값과 실제 값의 성공 및 실패 여부를 자동 시각화
- 05테스트 공수 단축과 테스트 신뢰성 확보라는 정성적 성과 동시 달성
RECOMMENDATION
비개발 직군에서 일상적인 반복 검증 작업의 자동화를 꿈꾸거나, 최소한의 러닝 커브로 QA 자동화 파이프라인을 구축해보고 싶은 기획자 및 엔지니어에게 적극 추천합니다.
The Problem
멤버십 개편으로 인해 가입일자별로 상이한 정기 결제일 및 이용기간 검증 케이스가 복잡해졌습니다. 매번 대량의 테스트 데이터를 정의하고 API를 수동으로 호출하여 결과를 눈으로 검증해야 하는 비효율적인 반복 작업이 지속되었습니다.
The Solution
비개발자 관점에서도 쉽게 다룰 수 있는 Python을 선택하고, ChatGPT와 Gemini 등의 생성형 AI를 페어 프로그래머로 활용하여 API 테스트 자동화 스크립트를 구현했습니다. pandas를 통해 테스트 데이터를 불러오고 httpx로 API를 호출한 뒤, pytest의 assert 문을 활용하여 결과를 자동으로 비교 검증하도록 설계했습니다.
The Result
반복적인 테스트 데이터 생성, API 호출, 결과 검증 단계를 자동화함으로써 테스트 시간 단축과 테스트 범위 확대를 동시에 달성했으며 검증 결과를 즉각 피드백받을 수 있게 되었습니다.
Trade-off
명확한 규칙 기반의 API 호출 검증에는 효과적이지만, 복잡한 사용자 UI 인터랙션 시나리오 전체를 자동화하기에는 한계가 있습니다. 또한 비개발자가 구축한 만큼 복잡한 비즈니스 로직 변화에 유연하게 대처하기 위해서는 지속적인 프로그래밍 학습과 코드 리팩토링 비용이 수반됩니다.
