Read Original
#AI

Voice Turn Detection 모델 개발기

Voice Turn Detection 모델 개발기
01

Summary

'말소리가 멈추면 대답한다?' 음성 AI의 최대 난제, 전송 버튼 없는 실시간 전화 타이밍 잡기

채널톡이 Gemma-2B 기반 맞춤형 Turn Detection 모델로 100ms대 초고속 발화 타이밍 판단을 구현한 여정

본 아티클은 채널톡의 AI 전화 상담원 VoiceALF에 탑재된 Turn Detection(TD) 모델 개발기를 다룹니다. 단순히 말을 알아듣는 것을 넘어 '언제 말해야 할지' 결정하기 위해 거친 대규모 데이터 라벨링 자동화와 소형 언어 모델(SLM)의 분류 모델 튜닝 과정을 상세히 설명합니다. 한국어 벤치마크 최고 성능 달성 및 실서비스 검증 완료 사례를 통해 고도화된 음성 AI 아키텍처의 실무적 힌트를 제공합니다.

  • 01단순 음성 감지(VAD)를 넘어 억양과 머뭇거림까지 실시간으로 파악하는 대화 타이밍 제어 기술 도입
  • 02종료 후 시점의 대화 맥락을 돌아보는 비디오 판독 기법으로 90만 건 규모의 정교한 데이터 라벨링 자동화
  • 03Gemma4-2B 언어 모델의 생성형 헤드를 분류 헤드로 커스텀 튜닝하여 연산 병목을 제거하고 응답 속도 최적화
  • 04추론 연산 속도 101ms를 달성하여 통화 중 발생하는 수많은 미세한 침묵 구간마다 즉시 판단 가능
  • 05한국어 EoT-Bench 평가에서 AUC 0.952를 기록하며 LiveKit, SmartTurn 등 글로벌 선도 모델 성능 추월

RECOMMENDATION

실시간 음성 에이전트나 통화 기반 대화형 AI 서비스를 설계하는 엔지니어에게 적극 추천합니다. 고비용의 LLM이나 무거운 생성형 모델 대신, 가벼운 SLM을 분류기로 개조하여 100ms대 초저지연 성능을 확보하는 실무 접근법을 배울 수 있습니다.

The Problem

전화 상담 AI가 단순 침묵 기준(VAD)으로 발화 타이밍을 잡을 경우, 고객의 말을 중간에 끊거나 불필요하게 대기 시간이 길어지는 문제가 존재했습니다. 일상 대화 기반의 기존 오픈소스 모델들은 전화 상담 특유의 억양, 맞장구, 머뭇거림을 정확히 구분하지 못해 실제 비즈니스에 적용하기 어려웠습니다.

The Solution

채널톡은 실제 전화 상담 데이터를 기반으로 미래 시점 대화 흐름까지 분석하는 비디오 판독식 자동 라벨러를 구축하여 대규모 학습 데이터를 확보했습니다. 이후 Google Gemma4-2B 모델의 텍스트 생성 헤드를 분류 헤드로 교체하여 억양과 머뭇거림을 직접 판단하는 실시간 음성 분류 모델을 학습시켰습니다.

The Result

모델 추론 속도는 중앙값 101ms(전처리 포함 116ms)를 기록해 초고속 판단이 가능해졌으며, 한국어 EoT-Bench 평가에서 AUC 최고 0.952로 기존 글로벌 오픈소스들을 압도했습니다. 사내 카페 전화에 실 적용한 결과, '기다리기'를 선택한 케이스의 87%에서 실제로 1.5초 이내에 고객 발화가 이어지는 효과를 확인했습니다.

Trade-off

현재 모델은 주변 소음이 섞인 환경에서의 판단 안정성이 완벽하지 않아 추가적인 개선이 필요한 상태이며, 실제 대화 품질 개선율에 대한 정량적 지표 대신 운영 관측치 기반으로 검증되었다는 한계가 있습니다.

03

Key Concepts

Concept · 01

Turn Detection (TD)

대화 중 상대방이 말을 마쳤는지(발화 종료) 아니면 다음 말을 준비하며 잠시 머뭇거리는 중인지 실시간으로 구분하여 대화 주도권을 전환하는 기술입니다.

  • 텍스트 전사(STT)를 거치지 않고 고객 음성 자체의 오디오 특징과 억양을 참고하여 즉시 판단함
  • 실제 운영 단계에서 대화가 자연스럽게 이어지도록 '전송 버튼'을 눌러주는 지능형 중재자 역할을 수행함
Concept · 02

비디오 판독식 자동 라벨러

통화가 완료된 전체 녹음 데이터에서 앞뒤 발화 순서와 겹침 상태를 종합 분석하여 대규모 오디오 데이터에 정답 라벨을 자동으로 부여하는 시스템입니다.

  • 미래 시점의 대화 상황까지 역으로 탐색하여 사람이 라벨링한 세 가지 정답 기준을 대규모로 재현함
  • 90만 개 이상의 통화 발화를 정제된 학습 데이터로 손쉽게 변환하는 파이프라인으로 활용됨
Concept · 03

Gemma-2B 커스텀 분류기

오디오 처리 능력이 있는 Google Gemma 언어 모델을 기반으로 하되, 텍스트 생성 전용 레이어를 잘라내고 각 대화 상태(종료, 대기, 맞장구)의 점수를 출력하는 분류형 헤드로 개조한 특화 모델입니다.

  • 불필요한 토큰 단위 디코딩 과정을 생략하여 추론 속도를 100ms 안팎으로 대폭 줄임
  • 음질이 떨어지는 전화 상담 오디오 인코딩 정보만으로도 실시간에 준하는 의사결정을 내릴 수 있도록 튜닝함