경량형 이미지 초해상도를 위한 정보 다중 증류 네트워크

본 논문은 최근 딥러닝 기반 단일 이미지 초해상도(SISR) 분야에서 파라미터 수와 연산량이 급증함에 따라 저사양 디바이스에서의 적용이 어려워진 문제점을 해결하고자 한다. 이를 위해 저비용·고효율 네트워크 구조인 ‘정보 다중 증류 네트워크(IMDN)’를 제안한다. 1. **배경 및 동기** - 기존 SISR 모델들은 깊은 레이어와 대규모 파라미터(예: EDSR 43 M, RCAN 15.6 M)를 통해 PSNR/SSIM을 크게 향상시켰지만, 메모리와 연산 요구량이 높아 모바일·엣지 환경에 부적합했다. - 경량화 접근법으로는 재귀 구조, 파라미터 공유, 채널 축소 등이 있었지만, 성능 저하를 피하기 위해서는 새로운 설계 원리가 필요했다. 2. **핵심 아이디어** - **정보 다중 증류 블록(IMDB)**: 하나의 블록 안에서 입력 특징을 여러 단계로 나누어 ‘증류(refine)’와 ‘보존(preserve)’를 반복한다. 각 단계는 3×3 Conv‑LeakyReLU 뒤 채널을 일정 비율(예: 1/4)로 분할하고, 한 부분은 바로 정제된 특징으로 저장, 나머지는 다음 단계로 전달한다. 이렇게 하면 네 번의 정제 과정을 거쳐 점진적으로 중요한 저‑레벨 정보를 추출한다. - **대비 인식 채널 어텐션(CCA)**: 기존 SE‑Block이 평균값만 활용하는 것과 달리, 채널별 평균과 표준편차를 이용해 대비 정보를 계산한다. 대비가 큰 채널은 에지·텍스처와 같은 고주파 성분을 담고 있을 가능성이 높아, 시그모이드 함수를 거쳐 가중치를 부여한다. 이는 정제된 특징들의 중요도를 동적으로 재조정해 복원 품질을 높인다. - **중간 정보 수집(IIC)**: 여러 IMDB의 출력들을 1×1 Conv 로 통합해 정보 손실을 최소화한다. 이는 네트워크 깊이가 증가해도 파라미터 증가를 억제하면서 전체 특징을 효과적으로 활용한다. - **적응형 크롭 전략(ACS)**: 임의 배율 확대를 위해 입력 이미지를 목표 배율에 맞게 크게 스케일링한 뒤, 모델이 처리 가능한 고정 크기의 패치로 나눈다. 각 패치는 동일 IMDN으로 복원하고, 경계 부분은 블렌딩한다. 이 과정은 다운샘플링(stride‑2 Conv) 레이어가 포함된 경량 모델에서도 메모리 초과 없이 무한히 큰 이미지와 다양한 배율을 처리할 수 있게 한다. 3. **네트워크 구조** - **입력 단계**: 3×3 Conv (채널 64) → LR 특징 추출. - **핵심 단계**: 6개의 IMDB를 순차적으로 스택. 각 IMDB 내부는 PRM(4번의 채널 분할·정제) → CCA → 1×1 Conv (채널 축소). - **출력 단계**: 모든 IMDB 출력들을 1×1 Conv 로 결합(IIC) → 3×3 Conv (채널 64) → 서브픽셀 업샘플러(픽셀 셔플) → 최종 HR 이미지. 4. **학습 설정** - 손실 함수는 L1 손실을 사용해 PSNR를 직접 최적화. - 데이터는 DIV2K 훈련셋을 사용하고, 1000 epoch 동안 학습. - 학습률은 cosine annealing 스케줄을 적용, 배치 크기 16, Adam 옵티마이저 사용. 5. **실험 및 결과** - **정량적 평가**: DIV2K, Set5, Set14, BSD100, Urban100 등 5가지 벤치마크에서 IMDN은 PSNR 기준으로 IDN(0.2 dB), CARN‑M(0.3 dB)보다 우수했으며, EDSR와 RCAN에 비해 0.1~0.2 dB 차이 내에 머물렀다. 파라미터는 0.6 M으로 기존 경량 모델 대비 30 % 감소, FLOPs도 30 % 이하. - **시각적 품질**: 텍스처와 에지 복원에서 CCA가 강조한 고주파 성분이 눈에 띄게 선명했으며, 과도한 인공적인 경계가 적었다. - **추론 속도**: GPU (RTX 2080Ti) 기준 30 ms 이하, CPU (i7‑9700K)에서도 120 ms 이하로 실시간에 근접. 이는 동일 파라미터 조건에서 기존 경량 모델 대비 25 %~35 % 빠른 속도이다. - **배율 일반화**: ACS를 적용해 ×2, ×3, ×4 배율을 하나의 모델로 처리했으며, 별도 배율 전용 모델을 훈련한 경우와 거의 동일한 성능을 보였다. 6. **분석 및 토론** - **깊이와 속도 관계**: 실험에서 블록 수를 4~8 사이로 변동시켰을 때, 깊이가 증가하면 PSNR는 소폭 상승하지만 추론 시간이 비선형적으로 증가함을 확인했다. 따라서 경량화 설계 시 ‘깊이 vs. 실시간 요구’의 트레이드오프를 명확히 고려해야 함을 강조한다. - **CCA의 효과**: 대비 기반 어텐션이 기존 SE‑Block 대비 약 0.07 dB PSNR 향상을 제공했으며, 특히 고주파가 중요한 Urban100에서 큰 이득을 보였다. 이는 저해상도 이미지에서 에지·코너 정보를 강조하는 것이 초해상도 복원의 핵심임을 재확인한다. - **ACS의 한계**: 패치 경계 블렌딩 시 미세한 색상 불일치가 발생할 수 있으나, 전체 PSNR에 미치는 영향은 미미했다. 향후 멀티스케일 피라미드와 결합하면 더욱 부드러운 전역 복원이 가능할 것으로 기대된다. 7. **결론** IMDN은 정보 다중 증류와 대비 인식 채널 어텐션을 결합해 파라미터 0.6 M 이하, 연산량 30 % 이하로 기존 대형 SISR 모델에 필적하는 성능을 달성했다. 또한, 적응형 크롭 전략을 통해 하나의 모델로 다양한 배율과 해상도를 처리할 수 있어, 모바일·엣지 디바이스에서 실시간 초해상도 적용 가능성을 크게 확대한다. 향후 연구에서는 더 정교한 어텐션 메커니즘과 동적 블록 구성, 그리고 비디오 초해상도에의 확장을 탐색할 계획이다.