Read Original
#AI

인간과 AI, 함께 데이터를 탐험하다 - BDA 2.0 서비스의 탄생, 현재 그리고 미래

인간과 AI, 함께 데이터를 탐험하다 - BDA 2.0 서비스의 탄생, 현재 그리고 미래
01

Summary

개발자 없이 도메인 전문가가 직접 설계하는 초정밀 Text-to-SQL 에이전트, BDA 2.0

Expert-In-The-Loop 디자인으로 완성한 인간과 AI의 긴밀한 데이터 분석 공생 인프라

본 아티클은 데이터 전문가가 직접 대화형 AI 에이전트를 빌드하고 학습시킬 수 있는 차세대 플랫폼 BDA 2.0의 개발 스토리와 핵심 가치를 조명합니다. 높은 정확도의 SQL 변환을 지원하기 위한 테스트 세트 검증 및 자동 최적화 루프를 통해 비개발 중심의 AI 운영 환경을 성공적으로 개척한 노하우를 전달합니다.

  • 01자연어-SQL 변환 성능 향상을 위해 도메인 전문가의 지식을 UI 기반으로 집약하는 플랫폼 설계
  • 02학습 메타데이터와 테스트 세트(Train/Test Set)를 사용자가 직접 업로드하고 검증할 수 있는 Lab 환경 구축
  • 03AI의 제안에 따라 가이드를 보완하고 반복 개선해주는 'AI Optimization' 자동화 기능 제공
  • 04사용자가 능동적으로 AI 학습에 개입하는 인간-AI 공생 협업(Symbiotic Mode) 최적의 활용 케이스 제시

RECOMMENDATION

Text-to-SQL 및 도메인 특화 에이전트를 비즈니스에 밀착 적용하고자 하는 플랫폼 기획자, 데이터 엔지니어, 서비스 설계자에게 이 아키텍처를 적극 추천합니다.

The Problem

자연어-SQL 변환 정확도가 높은 LLM 에이전트를 개발하기 위해 도메인 전문가와 개발자 간의 긴밀한 협업이 필요했으나, 이 과정은 대량의 시간과 인적 자원이 소모되고 데이터 변동 대응에 비효율적이었습니다.

The Solution

개발 지식이 없는 도메인 전문가도 웹 UI를 통해 특화 에이전트를 직접 생성, 테스트, 배포할 수 있는 Expert-In-The-Loop(EITL) 기반의 BDA 2.0 플랫폼을 구현하였습니다.

The Result

에이전트 개발을 위한 전문가-개발자 간의 커뮤니케이션 오버헤드를 해소하고, 웹 기반 Lab을 통해 학습 메타데이터 입력, 테스트 세트 검증 및 AI 기반 성능 자동 최적화를 단일 플랫폼 내에서 해결하였습니다.

Trade-off

비전문가의 가이드 데이터 질에 따라 에이전트의 SQL 생성 성능 편차가 발생할 수 있으며, 자동화 최적화(AI Optimization) 역시 지정된 횟수 내에서만 동작하므로 완전한 정교화에는 한계가 존재합니다.

03

Key Concepts

Concept · 01

Expert-In-The-Loop (EITL)

Human-In-The-Loop의 특수 형태로, 특정 전문 영역(법률, 의학, 데이터 분석 등)의 지식을 갖춘 현업 전문가가 직접 피드백 루프에 참여하여 AI 모델을 지속적으로 고도화하는 설계 방식입니다.

  • BDA 2.0에서 개발자의 조력 없이도 도메인 지식 전문가가 직접 학습 데이터를 튜닝하고 에이전트를 관리할 수 있게 하는 설계 사상으로 동작합니다.
Concept · 02

Text-to-SQL

인간의 자연어 질의를 컴퓨터가 데이터베이스에서 직접 이해하고 실행할 수 있는 정교한 SQL 쿼리문으로 변환하는 생성형 AI 기술입니다.

  • 사용자가 복잡한 쿼리를 손수 작성하지 않고도 자연어 질문만으로 필요한 데이터와 시각화 결과를 즉각 도출할 수 있도록 지원합니다.
Concept · 03

AI Optimization

에이전트 검증 결과가 미흡할 경우, AI 스스로 추가적인 데이터 학습 가이드를 제안하고 정해진 횟수만큼 자동 반복하여 성능을 점진적으로 향상시키는 자가 최적화 메커니즘입니다.

  • Lab 화면 내에서 테스트 세트의 변환 실패 원인을 분석하여 AI 추천 지침에 따라 자동으로 모델 성능을 상향 보완하는 인터랙션에 적용되었습니다.