Read Original
#AI

요즘 뜬다는 FDE, 왜 Voice AI랑 싸우고 있을까?

요즘 뜬다는 FDE, 왜 Voice AI랑 싸우고 있을까?
01

Summary

밤새 AI가 스스로 QA하고 코드까지 고친다? Voice AI 시나리오 자동 검증기 제작기

전화기 붙잡고 200번 통화하던 시니어 FDE가 병렬 테스트 및 AI 에이전트로 배포 속도를 10배 올린 비결

채널톡 FDE팀은 AI 음성 상담사(Voice ALF)의 대화 시나리오 검증에 소요되는 막대한 수동 통화 시간을 줄이고자 전용 자동 QA 도구를 구축했습니다. 텍스트 레이어에서의 병렬 테스트 실행기와 실행 기록을 대조 평가하는 AI 에이전트를 도입하여 통화 테스트 횟수를 90%까지 줄였습니다. 개발 초안 단계부터 야간 자동 검증까지 연결되는 AI 기반 품질 관리 프로세스의 실제 적용 사례를 담고 있습니다.

  • 01실제 음성 재생 없이 텍스트 이벤트를 가상화하여 대화 멈춤 없이 초고속 병렬 QA 실행
  • 02단순 답변 완수가 아닌 지시 이행 및 Task 완주율 등 8가지 지표 기반 평가 AI 에이전트 구축
  • 03담당자 수동 전화 테스트 횟수 약 50회에서 5회로 90% 절감
  • 04야간 시간 동안 AI 에이전트가 테스트 통과까지 시나리오 수정과 재검증을 자율 반복하도록 구현
  • 05신규 기능 배포팀(ND Team) 및 고객 세팅 담당팀(AXC Team) 전반으로 QA 자동화 도구 확산 적용

RECOMMENDATION

LLM 기반 대화형 서비스나 Voice AI 시나리오 테스트로 고통받는 개발자 및 QA 엔지니어에게 적극 추천합니다. 대화 흐름 평가를 수동 테스트에 의존하기보다, 평가 지표 기반 AI 에이전트를 활용하여 CI/CD 및 밤샘 자동 검증 환경을 구축하는 인사이트를 얻을 수 있습니다.

The Problem

Voice AI(Voice ALF) 서비스 배포 전, 음성 상담 시나리오의 예외 상황과 대화 흐름을 검증하기 위해 세팅 담당자가 매번 직접 전화로 테스트를 진행해야 했습니다. 시나리오 수와 반복 테스트 횟수가 늘어남에 따라 사람 수동 검증의 한계가 발생하고 배포 일정이 지연되는 문제가 발생했습니다.

The Solution

텍스트 기반 대화 전달 방식을 통해 음성 합성/인식 시간을 생략하고 병렬 테스트가 가능한 자동 QA 도구를 개발했습니다. 음성 재생 완료 이벤트(speech_done)를 모의(Mocking) 처리하여 대화 멈춤 현상을 해결했으며, 평가 AI 에이전트를 도입해 대화 기록 및 실행 로그 기반의 8가지 항목 수치 평가 시스템을 구축했습니다.

The Result

담당자별 1개 Task 검증 시 직접 거는 전화 횟수가 기존 약 50회에서 5회(약 80~90% 감축) 수준으로 현저히 감소했습니다. 야간 자동 QA 및 수정 프로세스를 구현하여 QA가 시나리오 초안 다듬기 단계부터 활용되는 등 개발 및 배포 생산성이 향상되었습니다.

Trade-off

현재 구현된 QA 도구는 음성 인식(STT) 및 합성(TTS) 과정을 제외한 상담 엔진과 대화 흐름(텍스트) 중심 검증에 한정됩니다. 발음 인식률이나 고객의 음성 끼어들기(Interrupt) 등 실제 음성 통화망에서 발생하는 물리적 특성은 직접 통화로 추가 검증해야 하는 한계가 존재합니다.

03

Key Concepts

Concept · 01

ALF Task

AI 음성 상담사가 고객의 질문에 답하고 필요한 업무를 처리하도록 사전 정의해 둔 대화 및 절차의 흐름입니다.

  • 고객 정보 수집, 안내 메시지 전달, 환불 처리 등 단계별 노드로 구성됩니다.
  • 자동 QA 도구는 Task 노드의 지시문 이행 및 최종 완주 여부를 핵심 지표로 평가합니다.
Concept · 02

speech_done 이벤트

음성 서비스에서 안내 음성 재생이 끝났음을 상담 엔진에 전달하여 다음 단계로 넘어갈 수 있게 하는 신호입니다.

  • 텍스트 기반 자동 테스트 시 실제 음성이 재생되지 않아 시나리오가 멈추는 원인이 되었습니다.
  • 테스트 실행기가 대화 순서를 확인 후 가상 speech_done 신호를 전달하여 무한 대기 문제를 해결했습니다.
Concept · 03

AI QA Agent

고객 역할 대화 생성부터 대화 기록 검증, 8가지 항목 평가 및 리포트 작성까지 자율적으로 수행하는 스킬 기반 AI입니다.

  • Task 완주율, 대화 진행, 단계별 지시 이행 등을 점수화하여 PASS/FAIL을 판정합니다.
  • 모든 테스트를 통과할 때까지 밤새 시나리오를 수정하고 재검증하는 루프를 실행합니다.