동적 장면에 맞춘 적응형 시간 압축 영상 촬영

본 논문은 비디오 압축 센싱(Video Compressive Sensing, CS) 분야에서 시간 압축 비율(NF)을 고정값으로 사용하는 기존 시스템의 한계를 극복하고자, 장면의 동적 복잡도에 따라 압축 비율을 실시간으로 조절하는 적응형 시간 압축 센싱(Adaptive Temporal CS) 방법을 제안한다. 1. **배경 및 동기** 비디오 CS는 고속 영상을 저속 센서로 촬영하기 위해 여러 고속 프레임을 하나의 측정값으로 코딩한다. 기존 시스템은 고정된 NF(예: 6~10 프레임)를 사용해 모든 장면을 동일하게 압축한다. 그러나 실제 영상에서는 정지, 저속, 고속 움직임이 혼재하므로 고정 압축 비율은 재구성 품질 저하, 전력·메모리 낭비 등을 초래한다. 따라서 장면의 움직임에 따라 NF를 조절하는 것이 필요하다. 2. **핵심 아이디어** - **압축 측정값에서 직접 움직임 추정**: 전통적인 블록 매칭(Motion Estimation) 기법을 변형하여, 두 연속 측정 프레임(A, B) 사이에서 P×P 블록을 M×M 탐색 창 안에서 최적 매칭을 찾는다. 이때 블록이 이동한 픽셀 수를 속도 V(픽셀/프레임)로 정의한다. - **속도‑압축 비율 매핑**: 사전 시뮬레이션을 통해 다양한 V에 대해 재구성 PSNR(≈22 dB)을 일정하게 유지하도록 NF 값을 결정한다. 결과는 표 1에 정리돼 있으며, V가 클수록 NF를 작게(압축을 덜) 설정한다. 3. **알고리즘 흐름** 1) 카메라가 현재 NF에 따라 N_F개의 고속 프레임을 코딩해 하나의 측정값을 획득한다. 2) 직전 측정값과 현재 측정값에 대해 블록 매칭을 수행, V를 추정한다. 3) V를 룩업 테이블에 입력해 다음 통합 시간에 사용할 새로운 NF를 결정한다. 4) 위 과정을 연속 프레임에 적용한다. 이 과정은 복잡한 재구성 없이도 실시간으로 수행 가능하며, 기존 하드웨어에 블록 매칭 모듈만 추가하면 된다. 4. **실험 설정** - **합성 교통 영상**: 360프레임 길이의 교통 영상을 사용해 V를 인위적으로 변조(정지→이동→정지)하였다. GAP(Generalized Alternating Projection) 알고리즘으로 재구성하고, NF를 적응적으로 조절했다. 결과는 V가 0일 때 NF=16, 정상 이동 시 NF≈8, 정지 구간에서는 NF가 다시 16으로 복귀하는 모습을 보였다. 평균 PSNR는 21.8 dB로 목표 22 dB와 일치했다. - **실제 감시 영상**: 상점 앞을 촬영한 영상에서 처음 189프레임은 정지, 이후 사람들의 움직임이 발생한다. 정지 구간에서는 NF=16을 유지하고, 사람 한 명이 등장하면 NF=8, 두 사람이 동시에 움직이면 NF=6으로 감소한다. 전체 678고속 프레임을 67개의 적응형 측정으로 캡처해 평균 압축 비율 ≈10.12를 달성했다. 동일 평균 NF=10으로 고정했을 때와 비교해 평균 PSNR가 30.65 dB vs 27.54 dB(≈3 dB 차이)로 크게 향상되었다. 5. **성능 분석 및 장점** - **품질 향상**: 움직임이 있는 구간에서 압축 비율을 낮춤으로써 재구성 조건을 개선하고, PSNR을 3 dB 이상 상승시켰다. - **자원 절감**: 정지 구간에서는 높은 NF를 사용해 측정 횟수를 줄여 전력·메모리 소비를 최소화한다. - **실시간 구현 가능성**: 블록 매칭은 연산량이 적고, 현재 이미지 센서에 내장된 움직임 감지 엔진을 활용하면 프레임당 수십 마이크로초 수준의 처리 속도가 가능하다. 6. **제한점 및 향후 과제** - **블록 크기·탐색 창 선택**: P와 M 값에 따라 감도와 잡음에 대한 민감도가 달라진다. 빠른 움직임이나 조명 급변에 대한 오탐지 위험이 존재한다. - **속도 급변에 대한 지연**: V가 급격히 변할 경우 NF 업데이트가 한 프레임 정도 지연될 수 있다. - **고급 움직임 모델**: 다중 스케일 블록 매칭, 광류 기반 방법, 혹은 딥러닝 기반 예측을 도입해 정확도를 높이고 지연을 감소시킬 여지가 있다. 7. **결론** 저자는 압축된 측정값만으로 실시간 움직임을 추정하고, 이를 기반으로 시간 압축 비율을 동적으로 조절하는 프레임워크를 제시함으로써 비디오 CS 시스템의 효율성과 재구성 품질을 동시에 개선하였다. 실험 결과는 합성 및 실제 영상 모두에서 적응형 NF가 고정 NF 대비 평균 3 dB 이상의 PSNR 향상을 제공함을 보여준다. 향후 연구에서는 하드웨어 프로토타입에 직접 통합하고, 더 정교한 움직임 예측 알고리즘을 결합해 실시간 고속 영상 촬영 분야에 적용할 계획이다.