예측 필터 흐름을 이용한 이미지 복원

본 논문은 이미지 복원 분야에서 기존의 두 갈래, 즉 최적화 기반의 해석 가능하지만 계산량이 큰 방법과, 딥러닝 기반의 빠르지만 블랙박스인 방법 사이의 격차를 메우기 위해 ‘Predictive Filter Flow(PFF)’라는 새로운 프레임워크를 제안한다. 필터 흐름(filter flow)은 입력 이미지의 각 픽셀 주변 영역을 선형 결합해 출력 픽셀을 만들라는 개념으로, 원래는 큰 선형 시스템을 풀어야 했으나 계산 비용이 prohibitive했다. 저자들은 이를 CNN을 이용해 직접 필터 가중치를 예측하도록 전환함으로써, 실시간에 가까운 속도로 고품질 복원을 가능하게 했다. PFF의 핵심은 두 스트림 CNN 구조이다. 첫 번째 스트림은 18층 깊이의 일반적인 컨볼루션 네트워크로, 풀링과 업샘플링을 포함해 넓은 리셉티브 필드를 확보한다. 이는 전역적인 이미지 컨텍스트를 파악해 각 위치에 맞는 필터를 설계하는 역할을 한다. 두 번째 스트림은 풀 해상도에서 작동하는 얕은 네트워크로, 공간 정보를 손실 없이 전달한다. 두 스트림의 출력을 결합해 각 픽셀마다 20×20(예시) 크기의 필터를 생성하고, ‘im2col’ 연산을 통해 해당 픽셀 주변 패치를 벡터화한 뒤 내적을 수행해 최종 복원 이미지를 만든다. 학습 과정에서는 입력‑출력 이미지 쌍을 사용해 L1 손실을 최소화한다. 필터에 대한 제약은 네트워크 설계와 정규화 항으로 구현한다. 예를 들어, 비균일 모션 블러 제거에서는 필터가 비음수이며 합이 1이 되도록 소프트맥스 변환을 적용해 밝기 보존을 강제한다. 다른 작업에서는 자유형 필터를 허용한다. 또한, L2 정규화, 1차·2차 미분에 대한 스무스 제약 등 다양한 사전 지식을 손쉽게 삽입할 수 있다. 데이터 준비는 자가 지도 방식으로, 고품질 이미지 풀(DIV2K, BSDS500)에서 인위적으로 블러, 저해상도, JPEG 압축 등을 적용해 손상된 이미지와 원본을 쌍으로 만든다. 이렇게 하면 라벨링 비용 없이 대규모 학습이 가능하고, 다양한 손상 유형에 대한 일반화 능력이 향상된다. 실험은 세 가지 대표적인 저수준 비전 과제에 대해 수행되었다. (1) 비균일 모션 블러 제거: 38픽셀까지의 복잡한 블러 커널을 포함한 데이터셋에서 PSNR·SSIM 모두 기존 최첨단 방법을 크게 앞섰으며, 시각적으로는 가장자리 보존과 세부 복원에서 우수함을 확인했다. (2) JPEG 압축 아티팩트 감소: LIVE1 데이터셋에서 다양한 압축 품질에 대해 기존 CNN 기반 방법보다 높은 PSNR/SSIM을 기록했고, 특히 고압축(저품질) 상황에서 잡음 억제와 텍스처 복원에 강점을 보였다. (3) 단일 이미지 초해상도(4배): Set5, Set14 등 표준 벤치마크에서 최신 SRGAN, EDSR 등과 비교해 경쟁력 있는 수치를 달성했으며, 필터 흐름 시각화는 전통적인 언샤프 마스킹과 유사한 고주파 강조 패턴을 보여, 모델이 물리적 의미를 내포한 변환을 학습했음을 시사한다. 속도 측면에서 PFF는 최적화 기반 디컨볼루션(수십 시간) 대비 수십 배 빠른 추론 시간을 보이며, GPU 한 대에서 실시간 수준(수 FPS)으로 동작한다. 해석 가능성은 필터 가중치를 직접 시각화함으로써 확보된다. 연구자는 필터 흐름을 통해 “어떤 영역을 어떻게 가중합했는가”를 명시적으로 확인할 수 있으며, 필요에 따라 필터에 추가 제약(예: 색상 보존, 경계 강조)을 삽입해 결과를 제어할 수 있다. 이는 의료·생물학 이미지 분석처럼 결과 신뢰성이 중요한 분야에 특히 유용하다. 결론적으로, Predictive Filter Flow는 이미지 복원 문제를 “입력 → 예측된 공간 가변 필터 → 적용”이라는 직관적인 파이프라인으로 재구성함으로써, 성능·속도·해석 가능성이라는 세 축을 동시에 만족한다. 앞으로 필터 흐름을 다른 저수준 비전 문제(예: 조명 보정, 색상 변환)나 고수준 작업(예: 스타일 변환)에도 확장할 가능성이 제시된다.