딕셔너리 학습을 위한 예제 선택 전략

**1. 서론** 효율적인 코딩 가설에 기반한 딕셔너리 학습은 자연 이미지와 같은 고차원 신호를 희소한 사전 원소들의 선형 결합으로 표현함으로써 인간 시각 피질의 초기 특성을 모델링한다. 전통적인 비지도 학습에서는 데이터 샘플을 균등하게 추출해 사전 A*를 복원한다. 그러나 실제 생물은 제한된 처리 능력으로부터 중요한 정보만을 선택해 처리한다는 점에서, 무작위 샘플링과는 근본적인 차이가 있다. 본 연구는 이러한 ‘예제 선택’ 메커니즘이 딕셔너리 학습에 미치는 영향을 탐구한다. **2. 딕셔너리 학습 프레임워크** 학습 목표는 사전 A*와 잡음 σ²를 알고 있다고 가정하고, 최대 사후 확률(MAP) 추정으로 사전과 희소 코드 sᵢ를 동시에 최적화하는 것이다. 직접 최적화는 NP‑Hard이므로, 인코딩 단계(희소 코딩)와 업데이트 단계(사전 재추정)를 교대로 수행한다. 인코딩은 L₀ 제약을 근사하는 LARS(L₁ 정규화), OMP(그리디 매칭 퍼추트), k‑Sparse(상위 k값 선택) 중 하나를 사용한다. 업데이트는 손실 L_rec = (1/2N)‖X – A S‖_F²에 대한 확률적 경사법으로 수행하고, 각 컬럼을 정규화해 단위 노름을 유지한다. **3. 예제 선택 알고리즘 설계** 선택 알고리즘은 (i) ‘좋음(goodness) 측정치’ gⱼ(sᵢ, xᵢ)와 (ii) ‘선택자(selector) 함수’ f_sel으로 구성된다. - **좋음 측정치**: Err(재구성 오차), Grad(오차·활성화), SNR(신호대잡음비), SUN(활성화 희소성), SalMap(시각적 살리엔시 맵) 다섯 가지를 정의한다. - **선택자**: BySum은 전체 사전 원소에 대한 합계 점수 상위 n개를 선택하고, ByElement는 각 원소별 상위 n/K개를 골라 라운드‑로빈 방식으로 n개를 구성한다. 알고리즘 1은 매 epoch마다 전체 데이터를 인코딩하고, G_N을 계산한 뒤 f_sel에 의해 선택된 샘플을 사용해 10번의 인코딩·업데이트 루프를 수행한다. **4. 실험 설계** 두 종류의 사전 A*를 사용한다. (a) 100개의 8×8 Gabor 패치(μ≈0.97, 평균 μ̄≈0.13, 낮은 상호코히어런스)와 (b) 64개의 8×8 알파벳 문자(μ≈0.95, μ̄≈0.34, 높은 상호코히어런스). 각 epoch마다 50 000개의 샘플을 k=5, λ=1, SNR≈6 dB 조건으로 생성하고, 1 %인 500개를 선택한다. 인코딩 방법은 LARS, OMP, k‑Sparse를 모두 적용해 8가지 선택 조합을 평가한다. 성능 평가는 사전 복구 거리 D*(Ȧ, A*)를 사용한다. **5. 결과 및 분석** - **ByElement** 선택이 전반적으로 우수했다. 특히 Grad·SUN과 결합했을 때 가장 빠른 수렴을 보였다. - **BySum**은 알파벳 사전에서 Uniform(무작위)보다 성능이 떨어졌다. 이는 특정 원소에 과도히 집중돼 학습이 편향되는 ‘rich‑get‑richer’ 현상을 야기한다. - **SalMap**은 Gabor 사전에서는 SUN‑BySum과 비슷한 성능을 보였지만, 알파벳 사전에서는 효과가 미미했다. 이는 SalMap이 Gabor 필터 기반 특징에 의존하기 때문이다. - 초기 학습 단계에서도 좋은 선택 알고리즘이 효과를 발휘했다. Grad와 SUN은 오차와 활성화 크기를 동시에 고려해 정보량이 높은 샘플을 잡아내어, 사전과 활성화가 동시에 개선되는 양의 피드백 루프를 형성한다. **6. 논의 및 의의** 본 연구는 딕셔너리 학습에 ‘주의(attention)’ 메커니즘을 도입함으로써, 전체 데이터셋을 모두 사용하지 않아도 학습 효율을 크게 향상시킬 수 있음을 실증한다. SUN과 Grad 같은 측정치는 신경학적으로 구현 가능하므로, 생물학적 시각 시스템이 어떻게 효율적인 특징을 학습하는지에 대한 가설을 제공한다. 또한, 대규모 데이터에 대한 온라인 학습이나 연산 자원이 제한된 임베디드 시스템에서 선택 기반 학습이 실용적인 대안이 될 수 있다. **7. 결론** 예제 선택 알고리즘, 특히 ByElement‑Grad와 ByElement‑SUN 조합은 딕셔너리 학습의 수렴 속도를 현저히 가속한다. 이는 선택 기준이 현재 사전 추정과 활성화 정보를 활용해 ‘정보량이 높은’ 샘플을 우선시함으로써, 사전과 활성화가 상호 보강되는 피드백 루프를 만들기 때문이다. 향후 연구에서는 선택 기준을 더 정교화하고, 실제 시각/청각 데이터에 적용해 생물학적 주의 메커니즘과의 연관성을 탐색할 필요가 있다.