#AI

AI에게 분석을 맡기기 전에, '분석할 수 없음' 부터 가르치세요 — Wear OS 이슈 초도 분석을 자동화한 WOA Agent 개발기

Summary

AI에게 분석을 맡기기 전에, '분석 불가'부터 가르쳐야 하는 이유

Galaxy Watch 이슈 분석 준비 시간을 30분에서 0분으로 바꾼 WOA 에이전트 개발기

본 아티클은 Galaxy Watch 개발 중 매번 수작업으로 이루어지던 30분짜리 이슈 전처리 및 분석 단계를 자동화된 AI 파이프라인으로 전환한 과정을 설명합니다. 엄격한 규칙 기반 코드와 유연한 LLM의 역할을 명확히 분리하고, RAG와 예외 처리 설계를 통해 신뢰성 높은 실무형 에이전트를 구축한 엔지니어링 사례를 공유합니다.

01이슈 등록 즉시 감지되어 5분 내로 분석 코멘트를 등록하는 자동화 파이프라인 구현
02중첩 압축 해제 및 복호화는 규칙 기반 코드로 처리하고 핵심 맥락 해석만 LLM에 전담시켜 시스템 비결정성 제어
03과거 히스토리를 RAG 기반으로 조회하여 추천 담당자와 유사 사례에 대한 명확한 판단 근거를 동시 제공
04로그 누락 등의 상황에서 무모한 분석 대신 '분석 불가' 코멘트를 남기고 조기 종료하는 예외 처리 설계
05추론 특화 모델 대신 파이프라인 시간 예산 내에서 실용적으로 동작하는 일반 모델 선택 및 최적화

RECOMMENDATION

반복적인 로그 탐색과 초도 대응 리소스로 고통받는 플랫폼 개발 조직에게 추천하며, 복잡한 시스템을 자동화할 때 LLM에게 모든 것을 일임하기보다 엄격한 룰 엔진과의 하이브리드 아키텍처 구성을 권장합니다.

The Problem

Galaxy Watch 검증 과정에서 발생하는 Crash, ANR, 화면 흑화 등의 이슈를 분석하기 위해 개발자가 수백 MB의 첨부파일을 다운로드하고 로그 복호화, 난독화 해제 등 평균 30분의 수동 전처리 작업을 반복해야 하는 비효율이 존재했습니다.

The Solution

이슈 등록 즉시 작동하는 이벤트 기반 파이프라인을 구축하여 압축 해제, 로그 선별, 복호화 등의 정형적인 전처리는 결정적 코드로 해결하고, 로그 해석과 RAG 기반 유사 이슈 분석 및 담당자 추천은 LLM 에이전트가 담당하도록 아키텍처를 분리했습니다. 또한, 분석할 수 있는 로그가 없을 때 파이프라인을 조기에 안전하게 중단하는 예외 경로를 설계했습니다.

The Result

총 456건의 이슈 중 172건이 초도 분석 코멘트를 통해 자체 해결되었으며, 87%의 분석 성공률과 100%의 담당자 추천 일치율을 달성하였습니다. 특히 '분석 불가' 판정은 오판률 0%를 기록하여 불필요한 분석 시도를 원천 차단했고 개발자의 분석 준비 시간을 30분에서 0분으로 줄였습니다.

Trade-off

이슈 분석 품질을 위해 고성능 추론 모델 도입을 검토했으나 이벤트 기반 파이프라인의 시간 예산을 초과하는 타임아웃 오류로 인해 배포하지 못하고 일반 모델로 회귀해야 했으며, 시스템 안정성이 LLM 자체보다는 캐싱과 타임아웃 제어 등 기존 백엔드 인프라 안정성에 종속되는 한계가 있었습니다.