#AI

AI ENGINEER NIGHT Q&A 총정리

Summary

단순 RAG를 넘어 실전용 AI 에이전트로: 채널톡의 AI Engineer Night 비하인드

2,000개 고객사의 상담 데이터를 정복한 채널톡 AI팀의 RAG 고도화와 에이전트 설계 전략 대공개

본 아티클은 채널톡 AI팀이 Product AI를 구축하며 겪은 실전 고민과 해결책을 질의응답 형식으로 정리한 기술 리포트입니다. 검색 정확도를 높이기 위한 구조적 청킹 기법부터 할루시네이션을 극복하는 pass@k 평가 모델까지, 실무에서 마주하는 기술적 난제들을 어떻게 비즈니스 관점에서 풀어냈는지 상세히 다룹니다. 특히 단순한 기술 도입을 넘어 운영 스케일과 성능 사이의 균형을 찾는 시니어 엔지니어들의 의사결정 과정을 엿볼 수 있습니다.

01고정 길이 청킹의 한계를 극복하기 위해 문서의 레이아웃과 의미 단위를 반영한 구조적 청킹 도입
02운영 비용 최적화를 위해 사전 튜닝 대신 에이전트의 자가 쿼리 수정 및 재탐색 능력 강화
03코딩 에이전트의 패러다임을 차용한 '점진적 노출(Progressive Disclosure)' 기반 지식 탐색 전략
04비결정적 모델의 성능을 고정하기 위해 pass@k 지표를 활용한 통계적 검증 프로세스 구축
05데이터 오염을 막기 위한 AI 필터링과 Human-in-the-loop 방식의 하이브리드 지식 관리

RECOMMENDATION

상용 수준의 AI 상담 서비스를 준비 중이거나 RAG 시스템의 검색 품질 및 운영 비용 문제로 고민하는 엔지니어에게 강력히 추천합니다. 기술적 완성도와 비즈니스 운영 효율 사이의 현실적인 타협안을 찾는 데 큰 도움이 될 것입니다.

The Problem

채널톡 AI팀은 2,000개 이상의 고객사 도메인에 대응하기 위해 RAG 검색 품질의 한계와 운영 효율성 확보라는 과제에 직면했습니다. 특히 비정형 문서에서의 검색 누락, 고객사별로 상이한 도메인 용어 처리, 그리고 비결정적인 에이전트 성능의 정량적 평가가 주요 해결 과제였습니다.

The Solution

문서의 구조를 파악해 청킹하는 전략과 에이전트 기반의 점진적 노출(Progressive Disclosure) 패턴을 도입하여 검색 정확도를 높였습니다. 또한 운영 스케일을 고려해 사전 기반 튜닝 대신 에이전트의 재탐색 능력에 투자했으며, pass@k 방식의 평가 지표와 자체 엔진인 ALF를 통해 안정적인 서비스 환경을 구축했습니다.

The Result

고정 길이 청킹의 단점을 보완하여 표와 리스트의 정보 손실을 최소화했으며, 80% 이상의 통과율을 기준으로 하는 엄격한 검증 프로세스를 정립했습니다. 고객 상담 데이터에 사람이 직접 개입하는 게이트웨이를 두어 데이터 오염을 방지하고 정밀도(Precision)를 확보하는 성과를 거두었습니다.

Trade-off

운영 비용 절감을 위해 고객사별 맞춤형 형태소 분석기나 사전 구축은 현재 우선순위에서 배제된 상태입니다. 실시간 상담의 레이턴시 문제로 인해 모든 정보를 한 번에 탐색하는 방식 대신 계층적 구조를 선택함에 따라 일부 탐색의 깊이가 제한될 수 있는 트레이드오프가 존재합니다.