실제 사진 품질 예측을 위한 대규모 데이터와 지역‑전역 학습 모델

**1. 연구 배경 및 필요성** 디지털 사진이 소셜 미디어와 스트리밍 서비스에서 일상적으로 소비되는 현시점에서, 인간이 느끼는 사진 품질을 자동으로 예측하는 기술은 콘텐츠 관리, 압축, 전송 최적화 등에 핵심적인 역할을 한다. 기존의 무참조(NR) 품질 모델은 주로 정형화된 실험실 데이터(예: LIVE IQA, TID‑2008/2013)에서 개발되었으며, 단일 왜곡을 적용한 제한된 이미지 집합에 대해 높은 정확도를 보였지만, 실제 사용자 생성 콘텐츠(UGC)에서 나타나는 복합 왜곡과 다양한 해상도·비율을 제대로 다루지 못한다. **2. 데이터베이스 구축** - **이미지 샘플링**: 40 000장의 사진을 공개 데이터베이스(Ava, VOC, EMOTIC, CETH Blur 등)에서 추출하고, 15 백만 장의 소셜 미디어 이미지와 6가지 객관적 특성(밝기, 색채, 대비, 공간 정보, 픽셀 수, 얼굴 수)의 히스토그램을 매칭하도록 혼합 정수 프로그래밍 기법을 적용하였다. - **패치 추출**: 각 사진당 3개의 패치를 무작위로 선택해 총 120 000개의 패치를 확보하였다. 패치 크기는 원본 이미지의 20 %, 30 %, 40 %이며, 위치 겹침은 25 % 이하로 제한하였다. - **주관적 라벨링**: Amazon Mechanical Turk를 이용해 8 000명 이상의 작업자를 모집, 각 이미지·패치에 최소 35회, 최대 50회의 MOS를 수집하였다. 금본 이미지와 반복 이미지 검증을 통해 품질을 관리했으며, 최종적으로 3 931 710개의 유효 라벨(이미지 950 574개, 패치 2 981 136개)을 확보하였다. **3. 인간 라벨 특성** 전체 이미지에 대한 두 그룹 간 LCC는 0.48로 낮아, 데이터의 난이도가 매우 높음을 나타낸다. 반면 패치에 대해서는 0.65의 LCC를 보이며, 작은 영역에서는 인간 평가가 더 일관된다는 점을 확인했다. 또한, 이미지 MOS와 가장 큰 패치 MOS 간의 LCC는 0.43으로, 지역 품질이 전역 품질과 강한 상관관계를 가짐을 실증하였다. **4. 모델 설계** - **기본 네트워크**: ResNet‑50을 기본 구조로 사용하고, 이미지 전체와 패치 수준의 특징을 동시에 추출하도록 설계하였다. - **Region Proposal Network (RPN)**: 이미지 내에서 품질이 저하된 영역을 자동으로 탐지하고, 해당 영역에 대한 로컬 품질 점수를 예측한다. - **전역‑지역 흐름**: 전체 이미지 MOS를 예측하면서, RPN이 생성한 로컬 품질 맵을 병합해 전역 예측에 보정한다. - **지역‑전역 피드백**: RPN이 산출한 패치 품질을 집계해 전역 품질을 재추정하고, 이 재추정값을 다시 RPN에 피드백함으로써 순환적인 학습을 수행한다. 이 구조는 마스킹 현상 등 지역적 왜곡이 전역 인식에 미치는 비선형 효과를 모델링한다. **5. 실험 및 결과** - **자체 데이터베이스**: 제안 모델은 PLCC 0.93, SRCC 0.92를 달성했으며, 기존 NR 모델(BRISQUE, NIQE 등)과 최신 딥 모델 대비 10 % 이상 성능 향상을 보였다. - **전이 학습**: LIVE Challenge와 KonIQ‑10K에 대해 파인튜닝 없이도 PLCC 0.86, SRCC 0.84 수준을 유지, 데이터 규모와 구조적 설계가 일반화 능력을 크게 강화함을 입증하였다. - **시각적 품질 맵**: 모델이 생성한 로컬 품질 맵은 인간이 인지하는 왜곡 부위와 높은 일치도를 보였으며, 실제 서비스에서 왜곡 영역을 자동으로 식별하는 데 활용 가능하다. **6. 논의 및 한계** - **주관적 데이터 편향**: AMT 작업자의 문화·언어적 배경이 라벨에 영향을 미칠 수 있으며, 금본 이미지 기반 검증이 완전한 품질 보장을 제공하지는 않는다. - **패치 설계 제한**: 고정된 비율·크기의 패치를 사용함으로써, 매우 작은 세부 왜곡이나 전체적인 색조 변화와 같은 일부 현상을 놓칠 가능성이 있다. - **비디오 확장성**: 현재 모델은 정적 이미지에 최적화돼 있어, 시간적 연속성을 고려한 비디오 품질 예측으로 확장하려면 3D CNN이나 트랜스포머 기반 시퀀스 모델링이 필요하다. **7. 결론 및 향후 연구** 본 논문은 “대규모 현실 데이터 + 지역‑전역 피드백 구조”라는 새로운 패러다임을 제시함으로써, 무참조 이미지 품질 예측 분야에 중요한 전진을 이루었다. 앞으로는 (1) 다양한 문화권에서의 라벨링 확대, (2) 다중 스케일·다중 형태 패치 설계, (3) 비디오 및 멀티모달(오디오·텍스트) 품질 예측으로의 확장을 통해 실사용 환경에서의 품질 관리 시스템을 더욱 정교화할 수 있을 것으로 기대한다.