#AI

상담 데이터 분석을 통해 메뉴얼 추출하기

Summary

상담 데이터 1,000건에서 AI 에이전트 메뉴얼까지, 단 4단계로 자동화하기

채널톡 AX팀이 상담 지식을 구조화된 SOP와 RAG 데이터로 변환하며 겪은 시행착오와 솔루션

AI 도입의 가장 큰 병목인 '상담 프로세스 정의'를 자동화하기 위한 기술적 여정을 다룹니다. 단순한 데이터 분류를 넘어 실제 AI 에이전트가 즉시 학습하고 실행할 수 있는 수준의 지식 베이스와 운영 절차를 데이터로부터 직접 추출하는 파이프라인 설계 노하우를 공유합니다.

01임베딩과 클러스터링을 활용해 AI 분류의 일관성과 재현성 확보
02RFC 2119 표준 키워드를 적용하여 모호함 없는 에이전트 지시문 생성
03단순 '자동화율'을 넘어선 '상담 시간 절감액' 기반의 현실적인 지표 제시
04프롬프트에 의존하는 대신 시스템 구조로 LLM의 동작을 강제하는 설계 전략
05상담 데이터에서 규칙(Rules), 지식(RAG), 태스크(Tasks)를 분리하여 자동 생성

RECOMMENDATION

AI 도입을 준비 중이지만 방대한 상담 데이터를 어떻게 자산화할지 고민인 엔지니어와 기획자에게 추천하며, 특히 실무에 즉시 적용 가능한 데이터 전처리 및 구조화 팁을 얻을 수 있습니다.

The Problem

AI 상담 에이전트(ALF) 도입 시 상담 유형을 정의하고 AI의 판단 기준을 수동으로 문서화하는 과정에서 과도한 시간이 소요되었으며, 기존 AI 분류 방식은 결과의 일관성이 부족하고 실행 가능한 가이드를 생성하지 못하는 한계가 있었습니다.

The Solution

임베딩과 K-Means 클러스터링을 결합해 상담 유형 분류의 재현성을 확보하고, LLM을 활용하여 실제 상담 패턴과 대응 흐름을 RFC 2119 표준 기반의 구조화된 SOP(표준운영절차) 및 ALF 설정 파일로 자동 추출하는 파이프라인을 구축했습니다.

The Result

빈 화면에서 시작하던 세팅 과정을 데이터 기반의 초안 검토 방식으로 전환하여 초기 도입 장벽을 낮추었으며, 추상적인 자동화율 대신 '상담 시간 절감'이라는 구체적인 수치로 서비스 도입의 경제적 가치를 증명할 수 있게 되었습니다.

Trade-off

수치상 성능이 우수한 HDBSCAN 대신 단일 도메인 데이터의 특성을 고려해 K-Means를 채택하는 전략적 선택을 했으며, 풍부한 패턴 추출을 위해 분석 샘플 수를 강제함으로써 연산 자원 소모와 분석 정밀도 사이의 균형을 맞추었습니다.

Key Concepts

Concept · 01

SOP (Standard Operating Procedure)

업무의 효율성과 품질 유지를 위해 상세히 기술된 표준운영절차서입니다.

상담 데이터를 분석하여 AI가 특정 상황에서 어떻게 대응해야 하는지 정의하는 핵심 문서로 활용되었습니다.

Concept · 02

RFC 2119

기술 문서에서 요구 사항의 수준(MUST, SHOULD 등)을 명시하기 위해 사용하는 국제 표준 키워드입니다.

AI 에이전트의 지시문을 구조화하여 동작의 예측 가능성과 정교함을 높이는 데 사용되었습니다.

Concept · 03

Embedding & Clustering

텍스트를 벡터로 변환하여 유사도 기반으로 데이터를 그룹화하는 머신러닝 기법입니다.

상담 데이터에서 중복되는 유형을 식별하고 카테고리를 자동 생성하는 파이프라인의 첫 단계로 구현되었습니다.

Continue reading · same source

More from 채널 톡

View all posts from 채널 톡

상담 데이터 분석을 통해 메뉴얼 추출하기

Summary