KOEN
Read Original
#AI

평가 주도 개발: 대규모 GenAI 평가를 통해 얻은 교훈

평가 주도 개발: 대규모 GenAI 평가를 통해 얻은 교훈
01

Summary

일단 100개만 직접 읽어보세요, 에어비앤비가 대규모 GenAI를 검증하는 비결인 평가 주도 개발

비결정적인 LLM의 한계를 극복하고 가상 심사위원과 정교한 보정 프로세스를 결합하여 신뢰성 높은 서비스를 구현하는 로드맵

생성형 AI 서비스는 결과를 예측하기 어렵고 전통적인 품질 보증 방식으로는 검증에 한계가 존재합니다. 에어비앤비는 이를 해결하기 위해 단순 사후 검증이 아닌 개발 초기부터 평가 인프라를 우선시하는 평가 주도 개발 방법론을 성공적으로 안착시켰습니다. 코드 기반 자동 검사, 일치율을 높인 가상 LLM 심사위원, 그리고 인간 평가의 이상적인 조화를 통해 프로덕션 안정성을 극대화한 실전 노하우를 공유합니다.

  • 01의심스러울 땐 데이터를 직접 봐라: 프로토타입 출력 결과 100개를 직접 검토하고 실패를 분류하는 것이 평가의 시작입니다.
  • 02평가 주도 개발의 5대 원칙: 목표 및 게이트 선제 정의, 실제 오류 기반 메트릭 수립, 소수의 예리한 심사위원 집중 운용 등을 제시합니다.
  • 03계층적 3단계 평가망: 간단한 유형 검증을 위한 코드 레벨 검사부터 가상 심사위원과 인간 평가가 유기적으로 보완합니다.
  • 04가상 심사위원 보정 가이드: 하나의 심사위원은 오직 하나의 차원만 명확하게 채점하도록 루브릭을 명확히 하고 프롬프트를 최적화합니다.
  • 05에이전트 다차원 평가: 단일 최종 답변만 검증하는 것이 아닌 단계, 실행 경로, 사용자 세션 전반을 복합적으로 추적합니다.

RECOMMENDATION

막연하게 고성능 모델을 사용하거나 범용 메트릭에 의존하는 것을 멈추어야 합니다. 가장 빈번한 핵심 실패 사례가 담긴 50개에서 100개 사이의 골든 데이터셋을 신속히 구축하고 단 하나의 구체적인 목표만 판정하는 전용 가상 심사위원을 세밀하게 보정해 나가십시오.

The Problem

생성형 AI의 출력은 비결정적이고 올바름에 대한 기준이 매우 주관적이기 때문에 기존의 소프트웨어 테스트 방식을 그대로 적용하기 어렵습니다. 또한 검색, 추론, 도구 호출 등이 연쇄적으로 일어나는 과정에서 각 단계가 독립적으로 실패할 수 있어 품질 검증이 극도로 복잡합니다.

The Solution

에어비앤비는 개발 초기 단계부터 평가 체계를 다지는 평가 주도 개발(EDD) 방법론과 함께 프로그래밍 방식 검사, 가상 LLM 심사위원, 인간 평가로 이어지는 3단계 레이어드 품질 검증 방식을 도입했습니다. 또한 복잡한 에이전트 시스템을 위해 단계, 경로, 세션 수준으로 평가 범위를 정교하게 나누어 검증했습니다.

The Result

골든 데이터셋을 정교화하고 가상 LLM 심사위원을 지속적으로 보정하여 인간 전문가와의 평가 정합성을 88% 이상으로 높였습니다. 이를 바탕으로 대규모 운영 트래픽에서 안정적이고 연속적인 배포 및 실시간 품질 모니터링 환경을 확보했습니다.

Trade-off

신뢰할 수 있는 가상 심사위원을 지속적으로 조율하기 위해 다수의 골든 데이터셋 수동 검토와 초기 엔지니어링 리소스가 크게 수반됩니다. 아울러 평가 기준에 대한 인간 전문가 간의 완벽한 합의가 선행되지 않으면 자동화 평가의 효율성이 극히 제한됩니다.

03

Key Concepts

Concept · 01

Eval-Driven Development (평가 주도 개발)

소프트웨어의 테스트 주도 개발(TDD) 개념을 생성형 AI에 적용한 엔지니어링 패러다임입니다. 실패 시나리오를 미리 완벽히 예측하기보다 개발 과정에서 실제 발생하는 결함을 포착하고 이를 수동 및 자동 테스트로 체계화하여 지속적인 회귀 방지를 지향합니다.

  • 이해관계자들 간에 양질의 결과물이란 무엇인지 구체적인 합의를 이끌어 내는 도구로 기능했습니다.
  • 실제 수집된 에러 유형과 패턴에 기반해 고유한 평가 메트릭을 도출하도록 강제했습니다.
Concept · 02

LLM-as-a-Judge (가상 심사위원)

평가 대상 LLM이 출력한 결과물의 품질을 더 강력한 주 모델을 활용해 설정된 루브릭에 맞춰 검증하는 기법입니다. 수작업에 드는 과도한 비용을 절감하면서 톤앤매너, 일관성, 사실 부합 여부 등의 미묘한 맥락적 결함을 검증할 때 높은 효용을 갖습니다.

  • 가독성과 표현력 등 구체적인 세부 조건들을 정의한 엄격한 루브릭을 가상 심사위원에 부여하여 채점 정확도를 보정했습니다.
  • 수동 마킹된 골든 데이터셋과 가상 심사위원 결과를 끊임없이 대조 분석하여 일치율을 88% 수준까지 고도화시켰습니다.
Concept · 03

Agentic System Evaluation (에이전트 시스템 다층 평가)

여러 추론 단계와 외부 도구 호출이 얽혀 있는 에이전트 환경에서 최종 응답 결과의 성공 여부뿐만 아니라 중간 도구 탐색 경로의 효율과 타당성을 다각도로 점검하는 평가 방식입니다.

  • 추적 수집된 트레이스를 트리 탐색 방식으로 재구성하여 의도한 가설대로 도구가 호출되었는지 추적했습니다.
  • 세부 검증 대상을 단계 수준, 종합 경로 수준, 최종 사용자 목표 수준 등 3가지 계층으로 이중 보안하여 평가했습니다.