KOEN
Read Original
#Backend

VMAF v1: 좋은 것만으로는 충분하지 않습니다

VMAF v1: 좋은 것만으로는 충분하지 않습니다
01

Summary

넷플릭스가 공개한 VMAF v1: 영상 화질 측정의 새로운 표준이 온다

더 정확해진 4K·모바일 평가부터 압도적인 처리 속도까지, 업그레이드된 오픈소스 VMAF의 모든 것

넷플릭스는 비디오 인코딩 최적화의 핵심 도구인 VMAF를 대대적으로 개편하여 v1 버전을 출시했습니다. 이번 업데이트는 인간의 시각 특성을 정교하게 반영하여 다양한 시청 환경에서의 정확도를 극대화하는 동시에, 연산 효율성을 높여 실무 적용성을 크게 향상시킨 것이 특징입니다.

  • 01Barten의 CSF 모델을 활용한 기기 및 시청 거리별 정밀 화질 예측
  • 02밴딩(CAMBI) 및 크로마 아티팩트 감지 능력의 공식 통합
  • 03VIF 제거를 통한 연산 복잡도 감소 및 실행 속도 대폭 향상
  • 04NEG(No-enhancement gain) 모드 기본 활성화로 원작자의 의도 보전
  • 05고해상도 4K 및 고프레임률 영상에 최적화된 모션 특징 개선

RECOMMENDATION

비디오 스트리밍 서비스를 운영하거나 인코딩 파이프라인을 관리하는 엔지니어에게 필수적인 도구입니다. 특히 모바일 사용 비중이 높거나 4K 콘텐츠를 제공하는 환경에서 즉각적인 화질 개선 효과를 기대할 수 있습니다.

The Problem

기존 VMAF v0 모델은 저비트레이트에서 해상도 스케일링보다 압축 아티팩트를 선호하고, 시청 거리나 기기별 특성에 따른 화질 차이를 일반화하는 데 한계가 있었습니다. 또한 밴딩 및 크로마 아티팩트 감지 능력이 부족하고 고프레임률(60fps) 영상에 대한 예측 정확도가 떨어지는 문제점이 존재했습니다.

The Solution

DLM 피처에 AIM(Additive Impairments) 요소를 추가하고, Barten의 CSF 모델을 활용하여 시청 거리와 화면 크기에 따라 화질을 평가하는 거리 기반 모델링을 도입했습니다. CAMBI와 크로마 피처를 통합하여 아티팩트 감지력을 높였으며, 연산량이 많은 VIF를 제거하고 멀티스레딩 성능을 개선하여 효율성을 확보했습니다.

The Result

주요 데이터셋(WATERLOO IVC 4K 등)에서 주관적 품질 평가와의 상관관계(SRCC)가 v0 대비 유의미하게 향상되었음을 입증했습니다. 특히 4K 및 모바일 환경에서의 정확도가 개선되었으며, 알고리즘 최적화를 통해 기존보다 훨씬 빠른 처리 속도를 달성했습니다.

Trade-off

정확도가 전반적으로 향상되었으나 일부 특정 데이터셋에서는 미세한 정확도 하락이 관찰되었으며, 모션 윈도우 확장 방식만으로는 60fps 영상의 인지적 효과를 완벽하게 포착하기 어려울 수 있다는 한계가 있습니다.

03

Key Concepts

Concept · 01

VMAF (Video Multimethod Assessment Fusion)

넷플릭스가 개발한 비디오 품질 측정 지표로, 여러 화질 관련 피처를 Support Vector Regressor(SVR)로 결합하여 인간의 주관적 화질 인지를 수치화합니다.

  • 비디오 산업의 인코딩 평가 및 최적화를 위한 표준으로 자리매김함
  • v1에서는 기존 v0의 한계를 극복하기 위해 새로운 피처와 모델링 기법을 도입함
Concept · 02

CSF (Contrast Sensitivity Function)

공간 주파수에 따른 인간 시각 시스템의 대비 감도를 정의하는 모델로, 시청 거리와 화면 크기에 따른 왜곡 인지 능력을 설명합니다.

  • VMAF v1에서는 Barten의 CSF 모델을 사용하여 거리 기반 모델링을 구현함
  • 시청 거리가 멀어질수록 왜곡 가시성이 낮아지는 특성을 정확하게 반영함
Concept · 03

CAMBI (Contrast Aware Multiscale Banding Index)

영상 내에서 계단 현상처럼 나타나는 밴딩 아티팩트를 감지하기 위해 설계된 지표입니다.

  • VMAF v1의 주요 피처 중 하나로 통합되어 밴딩에 민감한 품질 평가가 가능해짐
  • 알고리즘 최적화를 통해 분석 과정에서의 오버헤드를 최소화함