#AI

메신저용 온디바이스 이미지 모델 학습기 1편: 지식 증류로 확장한 다국어 이미지 검색

Summary

"사진 1개를 보냈습니다"는 이제 그만, 110ms 만에 끝내는 온디바이스 다국어 이미지 검색

지식 증류와 LiteRT를 활용해 서버 없이 모바일 기기 안에서 '상자 안의 고양이'를 찾아내는 방법

이 아티클은 LINE 메신저의 사용자 경험을 혁신하기 위해 진행된 온디바이스 이미지 AI 프로젝트의 기술적 여정을 담고 있습니다. 거대 모델의 정교한 표현력을 경량 모델로 전수하는 지식 증류 기법을 통해, 개인정보 보호와 실시간 성능이라는 두 마리 토끼를 잡으며 5개 국어를 지원하는 고성능 검색 엔진을 모바일 환경에 구축한 노하우를 공유합니다.

01이미지 인코더는 고정한 채 텍스트 인코더만 다국어로 확장하는 효율적인 지식 증류 전략
02모델 크기를 70% 줄이면서도 정확도를 93% 이상 유지한 FP16 및 동적 범위 양자화 팁
03ONNX2TF를 이용한 복잡한 PyTorch-to-LiteRT 모델 변환 및 연산자 호환성 트러블슈팅
04HNSW 알고리즘 하이퍼파라미터 튜닝을 통한 초고속 온디바이스 벡터 검색 구현
05단순 키워드 매칭을 넘어선 복잡한 문장 기반의 시맨틱 이미지 검색 성능 입증

RECOMMENDATION

프라이버시와 지연 시간이 중요한 모바일 AI 서비스를 설계하는 엔지니어들에게 적극 추천합니다. 특히 임베딩 모델의 다국어 확장이나 온디바이스 벡터 DB 최적화가 필요한 실무자에게 매우 구체적인 구현 가이드를 제공합니다.

The Problem

메신저 환경에서 이미지 검색 기능을 서버에서 처리할 경우 지연 시간 증가, 프라이버시 침해 위험, 오프라인 사용 불가 등의 문제가 발생하며, 기존의 번역 파이프라인 방식은 번역 오차로 인한 검색 품질 저하와 운영 부담이 컸습니다.

The Solution

영어 전용 이미지-텍스트 임베딩 모델을 기반으로 이미지 인코더는 고정하고, 지식 증류(Knowledge Distillation) 기법을 통해 텍스트 인코더만 5개 언어(영어, 일본어, 중국어 번체, 태국어, 한국어)로 확장 학습한 후 LiteRT와 HNSW 기반 벡터 DB를 적용하여 모바일에 최적화했습니다.

The Result

5개 언어에 대해 Recall@5 평균 78% 이상의 성능을 확보했으며, 모델 크기를 205MB에서 63MB로 약 70% 감축하면서도 총 검색 지연 시간을 10,000장 기준 평균 110ms 수준으로 구현했습니다.

Trade-off

다국어 지원을 위해 영어 검색 성능이 약 1.4~3%p 소폭 하락하는 트레이드오프가 발생했으며, LiteRT 변환 과정에서 지원되지 않는 연산자(erf 등)를 근사 함수로 대체 구현해야 하는 기술적 부채가 존재했습니다.

Key Concepts

Concept · 01

지식 증류 (Knowledge Distillation)

학습된 거대 모델(Teacher)의 지식을 작고 가벼운 모델(Student)에게 전달하여 성능을 유지하면서 경량화하는 기법입니다.

영어 전용 텍스트 인코더를 교사 모델로 고정하고 다국어 학생 모델을 학습
두 모델의 임베딩 간 거리를 MSE Loss로 최소화하여 다국어 텍스트를 동일 공간에 정렬

Concept · 02

HNSW (Hierarchical Navigable Small World)

고차원 벡터 데이터에서 근사 최적 근접 이웃(ANN)을 빠르게 탐색하기 위해 계층적 그래프 구조를 사용하는 알고리즘입니다.

온디바이스 환경에서 10,000장 이상의 이미지 임베딩을 10ms 내외로 고속 검색
M(연결 수)과 ef_construction(탐색 범위) 파라미터 조정을 통한 성능 최적화

Concept · 03

LiteRT (구 TensorFlow Lite)

모바일 및 에지 기기에서 머신러닝 모델을 효율적으로 실행하기 위한 경량화 런타임입니다.

PyTorch 모델을 ONNX2TF 도구를 거쳐 안드로이드/iOS 호환 포맷으로 변환
동적 범위 양자화를 적용하여 모델의 정밀도는 유지하면서 용량은 70% 절감

Continue reading · same source

More from 라인

View all posts from 라인

메신저용 온디바이스 이미지 모델 학습기 1편: 지식 증류로 확장한 다국어 이미지 검색

Summary