#AI

메신저용 온디바이스 이미지 모델 학습기 2편: 초저지연 비자기회귀(non-autoregressive) 캡션 생성 전략

Summary

5초 걸리던 AI 답변을 0.3초 만에? 라인이 공개한 온디바이스 이미지 캡셔닝 비결

비자기회귀 디코딩과 다단계 지식 증류로 구현한 초저지연 모바일 AI 기술의 정수

이 아티클은 모바일 메신저 환경에서 실시간으로 이미지를 이해하고 설명하는 '온디바이스 이미지 캡셔닝' 기술의 최적화 과정을 상세히 다룹니다. 기존 자기회귀 방식의 속도 한계를 극복하기 위해 비자기회귀 구조를 채택하고, 품질 저하 문제를 해결하기 위해 '눈높이 학습' 기반의 다단계 지식 증류 전략을 통해 기술적 난제를 해결한 경험을 공유합니다.

01비자기회귀(NAR) 도입으로 캡션 생성 속도를 기존 대비 12배 이상 단축하여 200ms급 응답 달성
02단순 수치 지표를 넘어 GPT-4o mini를 활용한 '수락 비율' 기반의 실무 중심적 품질 검증 지표 도입
03Phi-3.5-vision을 이용한 1,300만 건의 데이터 재생성으로 학습 데이터의 노이즈 제거 및 스타일 통일
04소형 모델의 한계를 극복하기 위해 교사와 학생 모델의 눈높이를 맞추는 3단계 지식 증류 파이프라인 구축
05172MB의 가벼운 모델 크기로 네트워크 연결 없이 기기 내에서 독립적인 이미지 이해 기능 구현

RECOMMENDATION

모바일 환경에서 생성형 AI 기능을 실시간으로 구현해야 하는 엔지니어에게 강력히 추천합니다. 특히 모델 경량화만으로 속도 문제가 해결되지 않을 때, 디코딩 아키텍처 자체를 변경하고 데이터의 난이도를 조절하는 '눈높이 학습' 전략이 실무적으로 큰 도움이 될 것입니다.

The Problem

기존의 자기회귀(AR) 방식 이미지 캡셔닝 모델은 모바일 환경에서 5초 이상의 지연 시간이 발생하여 실시간 메신저 UX에 부적합했으며, 단순히 모델 크기를 줄이는 것만으로는 성능과 품질의 간극을 메우기 어려웠습니다.

The Solution

모든 토큰을 병렬로 생성하는 비자기회귀(NAR) 디코더 구조를 도입하여 추론 속도를 혁신하고, 거대 모델의 지식을 소형 모델의 수준에 맞춰 단계별로 전수하는 다단계 지식 증류와 데이터 재생성(Re-captioning)을 통해 품질을 확보했습니다.

The Result

전체 캡션 생성 속도를 12배 향상(5초 이상에서 200~400ms)시켰으며, 모델 크기를 172MB로 경량화하면서도 LLM 기반 수락 비율 지표에서 BLIP-1과 대등한 0.89를 달성하여 실제 서비스 가능한 수준을 증명했습니다.

Trade-off

상세한 묘사보다는 '단순하고 일반적인' 스타일을 지향함에 따라 풍부한 표현력은 일부 제한되었으며, 다국어 지원을 위해 추가 모델 다운로드가 필요하거나 초기 실행 시 모델 로딩(Cold Start) 지연이 발생하는 한계가 존재합니다.

Key Concepts

Concept · 01

비자기회귀(Non-autoregressive) 디코딩

문장의 토큰을 하나씩 순차적으로 생성하는 기존 방식과 달리, 모든 토큰을 한 번에 병렬로 예측하는 기술입니다.

추론 시간 복잡도를 O(T)에서 O(1)로 혁신적으로 단축
학습 가능 쿼리 토큰을 사용하여 이미지 정보를 바탕으로 전체 문장을 동시 생성

Concept · 02

지식 증류(Knowledge Distillation)

거대 모델(Teacher)이 가진 고도화된 지식을 파라미터가 적은 소형 모델(Student)에게 전수하여 성능을 유지하며 경량화하는 기법입니다.

자기회귀 교사에서 비자기회귀 학생으로 단계별 지식 전수
소형 모델이 감당할 수 있는 수준으로 데이터의 복잡도를 낮추는 '눈높이 학습' 적용

Concept · 03

Q-CTC (Query-Connectionist Temporal Classification)

비자기회귀 모델에서 병렬로 예측된 토큰들이 정답 문장과 올바르게 정렬되도록 돕는 손실 함수입니다.

중복 단어 발생 및 문법적 오류를 억제하는 정렬(Alignment) 문제 해결
동적 프로그래밍을 통해 가능한 모든 토큰 경로의 확률을 합산하여 학습 최적화

Continue reading · same source

More from 라인

View all posts from 라인

메신저용 온디바이스 이미지 모델 학습기 2편: 초저지연 비자기회귀(non-autoregressive) 캡션 생성 전략

Summary