KOEN
Read Original
#AI

코로나19의 종식을 알게 된 방법 (그리고 우리 모델이 잊어야 했던 것들)

코로나19의 종식을 알게 된 방법 (그리고 우리 모델이 잊어야 했던 것들)
01

Summary

에어비앤비 데이터 과학팀이 알려주는 ‘예측 모델이 과거를 망각하게 만드는 법’

예측 오차 앞에서 무작정 재학습을 누르기 전에 알아야 할 AI 모델 거버넌스 3원칙

급변하는 시장 상황 속에서 데이터 예측 모델의 유효성을 지속적으로 보장하기는 매우 어렵습니다. 본 아티클은 에어비앤비의 경험을 바탕으로 오차가 발생한 모델을 업데이트할 때 단순 데이터 최신화(Refit), 구조 재조정(Respecify), 관망(Hold)을 구분하여 대처함으로써 최적의 예측 성능을 유지하는 구체적인 가이드라인을 제공합니다.

  • 01단순한 '재학습(Retrain)'을 재조정, 재정의, 유지를 뜻하는 세 가지 고유한 작업으로 세분화한 의사결정 체계 설계
  • 02일시적 급증 현상에 무모하게 반응하는 노이즈 추적(Chasing noise)과 지나간 위기 가정을 방치하는 고스트 유입(Carrying ghosts) 현상 분석
  • 03과거 유사도 기반에서 현재 지리적 인접성 기반으로 데이터 강도 차용(Borrowing strength) 구조를 재배치한 구조 설계 사례 공유
  • 04예측 시스템을 운영할 때 필요한 것은 빠른 반응성뿐만 아니라 합리적인 의사결정 트리와 '의도된 망각'이라는 엔지니어링 철학임을 제시

RECOMMENDATION

시계열 예측 모델이 주기적인 재학습 이후에도 계속 빗나가거나 노이즈에 과민 반응한다면, 데이터가 아닌 모델 구조 자체의 모순을 해결하는 '재정의(Respecify)' 처방이 필요합니다.

The Problem

에어비앤비의 예약 및 취소 예측 모델은 팬데믹 종식 이후에도 과거의 충격 패턴과 일시적 비정상 데이터로 인해 지속적인 예측 오차와 편향(Bias)을 유발하는 문제를 겪었습니다. 단순히 주기적인 자동 재학습(Refit)만 반복할 경우 일시적 노이즈를 학습하여 예측 성능이 떨어지거나 과거의 낡은 가정을 유지하는 고질적인 오차가 발생했습니다.

The Solution

에어비앤비는 모델 문제를 세 가지 조치인 '재조정(Refit)', '재정의(Respecify)', '유지(Hold)'로 나누어 처리하는 의사결정 프레임워크를 수립했습니다. 특히 코로나19 회복기 모델 성능 개선을 위해 고정된 계층 구조 대신 지리적 인접성과 유사한 회복 상태를 공유하는 동적 시장으로 강도를 차용하도록 모델 구조를 근본적으로 재정의했습니다.

The Result

새로운 의사결정 체계를 통해 환경 변화 시 무모한 재학습으로 인한 성능 불안정성을 예방했으며, 모델 구조 재정의(Respecification)를 통해 회복기 예측 오차를 기존 단순 재조정 대비 50% 이상 줄이고 팬데믹 이전 수준의 정확도로 수렴시켰습니다.

Trade-off

모델을 재정의하는 작업은 오랫동안 검증되고 안정적이었던 구조를 검증되지 않은 새로운 구조로 대체해야 하는 높은 위험과 엔지니어링 비용이 따릅니다. 반면 아무 조치도 취하지 않는 유지(Hold) 전략은 당장 예측 오차를 지켜보아야 하므로 내부 이해관계자들의 우려와 커뮤니케이션 압박을 견뎌내야 합니다.

03

Key Concepts

Concept · 01

재조정 (Refitting)

기존 모델의 아키텍처나 피처는 그대로 유지한 채 최신 데이터를 주입하여 파라미터 값만 업데이트하는 비용 효율적인 모델 갱신 방법입니다.

  • 모델 내 일반적인 드리프트 현상이 일어날 때 리스크를 최소화하고 성능을 유지하기 위해 상시 수행되었습니다.
Concept · 02

재정의 (Respecification)

기존 데이터의 생성 프로세스 및 구조 자체가 완전히 변했을 때, 모델의 매개변수 구조를 완전히 바꾸거나 피처를 추가 및 삭제하는 근본적인 변경 작업입니다.

  • 지역별 코로나 회복 양상이 상이해짐에 따라 기존의 일방적인 시장 공유 계층 구조를 탈피하고 유사한 속성을 가볍게 연동하는 방식으로 구조를 대개편했습니다.
Concept · 03

유지 (Holding)

단기적인 쇼크나 원인을 완전히 이해하지 못하는 비정상적인 데이터 유입 시, 모델을 조급하게 건드리지 않고 현 상태 그대로 대기시키는 의사결정 방식입니다.

  • 일시적인 현지 이벤트나 환율 요동으로 일탈이 감지되었을 때 불필요한 오프사이클 재학습을 거부하고 추세를 관망하는 데 활용되었습니다.