시선 집중을 위한 순환 시각 주의 모델

**1. 서론 및 배경** 최근 컨볼루션 신경망(CNN)은 이미지 분류·객체 검출에서 뛰어난 성능을 보이지만, 입력 이미지 전체에 대한 전역 연산으로 인해 계산 비용이 픽셀 수에 선형적으로 증가한다. 인간은 전체 장면을 한 번에 처리하지 않고, 시선(fixation)을 통해 필요한 부분만 선택적으로 관찰한다는 점에 착안해, 저자들은 시각적 주의를 순차적 의사결정 문제로 모델링한다. **2. 기존 연구와 차별점** 전통적인 슬라이딩 윈도우 기반 검출, 클래스 파이프라인, 혹은 저레벨 살리언시 검출기는 부분적인 효율성만 제공한다. 이전의 ‘시각적 주의’ 모델(예: Ba et al., 2014)도 RNN을 사용했지만, 대부분이 그리디하게 행동을 선택하거나 전체 파이프라인을 완전하게 학습하지 못했다. 본 논문은 (i) 완전한 엔드투엔드 학습, (ii) 정책 그래디언트 기반 비미분 선택, (iii) 동일 아키텍처를 정적 이미지와 동적 환경 모두에 적용 가능하도록 설계한 점에서 차별화된다. **3. 모델 설계 – Recurrent Attention Model (RAM)** - **글림프 센서(ρ)**: 입력 이미지 xₜ 와 현재 시야 좌표 lₜ₋₁ 를 받아, 중심부는 고해상도, 주변은 점진적으로 낮은 해상도의 다중 스케일 패치를 추출한다. 이는 인간의 망막 구조를 모방한 ‘레티나’ 표현이다. - **글림프 네트워크(f_g)**: ρ가 만든 다중 스케일 패치를 두 개의 선형 변환(θ₀ᵍ, θ₁ᵍ) 후 ReLU, 마지막 선형 변환(θ₂ᵍ)으로 결합해 특징 gₜ 를 만든다. - **핵심 RNN(f_h)**: 현재 은닉 상태 hₜ₋₁ 와 gₜ 를 입력으로 받아 새로운 은닉 상태 hₜ 를 생성한다. 논문에서는 LSTM 구조를 사용해 장기 의존성을 보강한다. - **위치 네트워크(f_l)**: 은닉 상태 hₜ 를 입력으로 평균 μₜ 와 고정 분산 σ² 을 출력해, 가우시안 분포 p(lₜ|hₜ) 에서 다음 시야 좌표 lₜ 를 샘플링한다. - **액션 네트워크(f_a)**: 분류 작업에서는 소프트맥스 출력으로 클래스 확률을, 동적 제어 작업에서는 조이스틱·모터 명령을 생성한다. **4. 학습 방법** RAM은 두 종류의 손실을 결합한다. - **강화학습 손실**: REINFORCE 규칙을 이용해 정책 π 의 로그 확률에 누적 보상 R 을 곱한 그라디언트를 추정한다. 고분산 문제를 완화하기 위해 베이스라인 bₜ (현재 은닉 상태 기반 가치 함수)를 도입하고, bₜ 를 최소제곱 오차로 학습한다. - **지도학습 손실**: 분류와 같이 정답 라벨이 주어지는 경우, 교차 엔트로피 손실 −log π(a*|s) 을 추가해 액션 네트워크를 직접 최적화한다. 두 손실은 가중합으로 결합해 전체 파라미터 θ (θ_g, θ_h, θ_l, θ_a)를 업데이트한다. **5. 실험** - **Cluttered MNIST**: 28×28 숫자 이미지에 무작위 잡음 패치를 삽입해 복잡성을 높였다. RAM은 5~10번의 글림프만으로 98% 이상의 정확도를 달성했으며, 동일 파라미터 수의 CNN은 전체 이미지에 대해 연산량이 10배 이상 필요했다. - **SVHN**: 실제 거리 번호판 이미지에서 6개의 글림프(각 8×8)만 사용해 92% 정확도를 기록, 전체 이미지에 CNN을 적용했을 때보다 연산 효율이 크게 향상되었다. - **Translation Invariance**: 입력 이미지를 4배 확대해도 RAM은 동일한 글림프 수와 동일한 파라미터로 성능 저하 없이 정확도를 유지, 이는 위치 네트워크가 스스로 적절한 시야를 찾기 때문이다. - **Dynamic Control (Catch 게임)**: 에이전트는 화면에 나타난 공을 추적하고 패들을 움직여 잡는다. 보상은 공을 잡을 때마다 +1, 놓치면 0이다. RAM은 200 에피소드 내에 성공률 90% 이상을 달성했으며, 전통적인 CNN 기반 정책(전체 화면을 입력)보다 학습 속도가 3배 빠르고 연산량이 5배 적었다. **6. 논의 및 한계** RAM은 입력 크기에 독립적인 연산량을 제공해 고해상도 이미지 처리에 유리하지만, 정책 샘플링에 의존하기 때문에 초기 학습 단계에서 많은 탐색이 필요하다. 또한, 연속적인 좌표 선택은 미세한 위치 정밀도가 요구되는 작업(예: 의료 영상에서 작은 병변 탐지)에서 추가적인 보정(예: 미세 그리드 탐색) 없이는 한계가 있다. 베이스라인 설계와 보상 구조에 따라 학습 안정성이 크게 달라질 수 있다. **7. 결론 및 향후 연구** 본 논문은 시각적 주의 메커니즘을 RNN과 강화학습으로 구현해, 계산 효율성과 정확성을 동시에 달성한 최초의 모델 중 하나이다. 향후 연구에서는 (1) 다중 스케일·다중 모달리티 센서를 결합한 복합 글림프, (2) 비정책 기반의 미분 가능한 근사(예: Gumbel‑Softmax)로 샘플링 변동성을 감소, (3) 대규모 비디오 스트리밍 및 로봇 제어에 적용해 실시간 성능을 검증하는 방향이 기대된다.