Read Original
#AI

현관문에도 얼굴이 있다: 배송 완료 사진 기반 On-device 오배송 탐지 시스템

현관문에도 얼굴이 있다: 배송 완료 사진 기반 On-device 오배송 탐지 시스템
01

Summary

현관문에도 얼굴이 있다! 컬리가 오배송을 온디바이스 AI로 잡은 비결

서버리스 DB 설계부터 End-to-End ONNX 모델까지, 네트워크가 끊겨도 정확하게 작동하는 고성능 실시간 배송 검증 엔진

본 아키텍처는 얼굴 재인식 기술의 메커니즘을 물류 도메인에 이식하여 오배송을 사전에 완벽히 방지하는 시스템 구축 사례를 소개합니다. 극소수로 발생하는 이상 데이터를 정교하게 판별하기 위해 대조 학습 기법을 도입하고 온디바이스 환경에 특화된 모델 및 인프라 파이프라인을 구축했습니다. 서버 연산 비용과 응답 지연을 대폭 최소화하면서 높은 확장성을 입증한 실무 지향적 AI 아키텍처 가이드입니다.

  • 01Centroid Triplet Loss와 대조 학습 기법을 채택하여 복잡한 현관 구조의 미세 차이를 구별하는 공간 임베딩 구현
  • 02학습 과정에서 전혀 본 적 없는 배송지라도 단 몇 장의 과거 사진 정보만으로 분류해 내는 탁월한 제로샷 성능 입증
  • 03플랫폼 간 이미지 전처리 오차에 따른 모델 성능 변동을 원천 제거하기 위해 End-to-End ONNX 패키지 형태로 배포
  • 04AWS DocumentDB 서버리스와 Airflow 일배치 파이프라인을 융합해 수백만 건의 고차원 벡터 데이터를 밀리초 단위로 수집 및 가공
  • 05실시간 알럿 품질 확보를 위한 정밀도-재현율 이원화 대응 기법 및 하이브리드 운영 전략 활용

RECOMMENDATION

통신 환경이 보장되지 않는 네트워크 음영 지대에서 안정적으로 AI 추론 서비스를 구현해야 하는 개발자나, 이미지 기반의 장소 및 물품 검증 단말을 개발하는 모바일/ML 엔지니어들에게 우수한 참조 레퍼런스로 강력히 추천합니다.

The Problem

배송 완료 후 잘못된 주소지로 물품이 전송되는 오배송은 전체 건수 대비 발생 빈도는 낮으나 한 번 발생하면 비용적 손실과 고객 만족도 저하가 큽니다. 또한, 배송 매니저가 직접 촬영하는 사진 중에는 흔들림이나 무관한 피사체 등의 저품질 노이즈 데이터가 포함되어 실시간 유사도 분석을 어렵게 만듭니다.

The Solution

정상 배송 사진을 선별하기 위한 정상/비정상 이진 분류 모델을 전처리 단계로 도입하고, 센트로이드 트리플렛 손실(Centroid Triplet Loss) 기반 대조 학습을 적용한 이미지 인코더를 구축했습니다. 이를 이미지 전처리 과정까지 하나로 묶어 패키징한 End-to-End ONNX 모델로 구성하고 배송 매니저의 모바일 앱에 이식하여, 로컬 기기 단에서 서버 참조 없이 유클리디안 거리를 활용해 실시간으로 오배송 여부를 판별하도록 설계했습니다.

The Result

학습 데이터에 포함되지 않았던 새로운 주소지에 대해서도 추가적인 모델 학습 과정 없이 판단 가능한 제로샷(Zero-shot) 성능을 달성했으며, 테스트 세트 기준 Accuracy 99.95% 및 F1 score 99.97%라는 고도의 분류 성능을 증명했습니다. 연산 성능을 기기 내부에서 자체적으로 해결함으로써 서버 트래픽 부담 및 비용을 획기적으로 절감하고 지하 주차장 등 통신 음영 지역에서도 지연 없이 안정적으로 작동하도록 구현했습니다.

Trade-off

정밀도(Precision)와 재현율(Recall) 간의 전형적인 상충 관계 때문에, 현장 피로도를 방지하는 앱 상의 긴급 알럿 임계치와 운영 검수팀을 거치는 슬랙 채널의 임계치를 이원화하여 보수적으로 제어해야 합니다. 또한, 연산 속도와 저장 공간의 제약으로 인해 각 배송지 주소당 확보할 수 있는 이력 정보를 무제한 수집하지 못하고 최신 순서 기준 최대 20개까지만으로 비교 대상을 한정해야 하는 제한이 따릅니다.

03

Key Concepts

Concept · 01

Centroid Triplet Loss

개별 임베딩 쌍을 직접 비교하는 대신 같은 클래스에 속한 여러 데이터셋들의 평균점인 중심점(Centroid)을 기준으로 기하학적 공간을 정렬하는 기법입니다. 유클리디안 거리 기준으로 클래스 내 밀도는 극대화하고 클래스 간 여백은 넓혀 분류 품질을 높입니다.

  • 배송 현장의 일시적 각도 왜곡이나 장애물 등의 노이즈 편향(Outlier)을 해소하는 장소 대표 중심 벡터를 산출할 때 핵심적으로 적용되었습니다.
  • 이를 통해 모바일 기기 내에서 비교해야 할 벡터 연산 대상을 주소당 단 한 개로 축소하여 메모리 연산 부하를 획기적으로 경감시켰습니다.
Concept · 02

End-to-End ONNX

플랫폼 독립적인 머신러닝 포맷인 ONNX에 이미지 크기 조정 및 정규화 같은 전처리 레이어까지 완전히 포함하여 패키징하는 방식입니다. 이를 통해 훈련 서버 환경과 사용자 단말기 환경의 이기종 플랫폼 간의 출력 오차를 완벽히 제거할 수 있습니다.

  • 파이썬(Python) 구동 서버와 모바일(iOS/Android) Native 단말 간의 하드웨어/라이브러리 세부 세팅 차이로 인한 입력값 변형을 방지하기 위해 구축했습니다.
  • 모바일 측의 추가적인 데이터 가공 코드 구현 필요성을 제거하여 배포 복잡도와 연동 에러율을 크게 감소시켰습니다.
Concept · 03

Zero-shot Learning

모델 학습 단계에서 학습에 전혀 사용되지 않은 미지의 데이터 범주(Unseen Class)가 추론 시점에 입력되더라도, 사전에 습득한 추론 규칙만을 활용해 즉각 올바른 예측을 실행해내는 일반화 기법입니다.

  • 컬리 내 서비스 운영 중 수시로 생겨나는 전국의 신규 배송 주소지를 상대로 인공지능 모델의 상시 재학습 절차 없이 곧바로 오배송 여부를 탐지하는 유연한 확장성을 제공합니다.
  • 단 몇 장의 신규 유입 이미지 임베딩 정보만으로도 주소 고유의 영역을 잠재 공간에 바로 생성하여 동작할 수 있도록 지원합니다.