깊은 신념 네트워크는 충분하지 않다

본 논문은 자연 이미지 패치를 모델링하기 위해 널리 사용되는 딥 빌리프 네트워크(DBN)의 실제 확률 밀도 추정 성능을 정량적으로 평가하고, 기존 연구에서 주로 사용되던 시각적 샘플링 기반의 정성적 분석을 보완하고자 한다. 이를 위해 저자들은 로그우도(likelihood)를 직접 계산하기 어려운 복합 모델에 대해, 편향이 없고 일관적인 추정값을 제공하는 “일관된 로그우도 추정기”(consistent likelihood estimator)를 제안한다. 이 추정기는 Gibbs 샘플링을 이용해 모델의 무향 상위 층을 충분히 수렴시킨 뒤, 하위 층의 조건부 분포를 이용해 전체 로그우도를 근사한다. 논문은 먼저 볼츠만 머신과 제한 볼츠만 머신(RBM)의 에너지 기반 정의를 정리하고, DBN이 여러 RBM을 계층적으로 결합한 구조임을 설명한다. DBN의 첫 번째 층은 관측 변수와 직접 연결된 유향 그래프이며, 상위 층은 무향 그래프 형태를 띤다. 이러한 구조는 샘플링 과정에서 상위 층을 먼저 Gibbs 샘플링으로 초기화하고, 이후 하위 층을 조건부 분포에 따라 샘플링함으로써 효율적인 생성 과정을 가능하게 한다. 다음으로 저자들은 제안된 추정기를 실제 데이터에 적용한다. 실험 데이터는 Van Hateren 데이터베이스에서 추출한 8×8 크기의 자연 이미지 패치이며, 각 패치는 평균을 0, 분산을 1로 정규화(whiten)하였다. 두 층으로 구성된 DBN을 학습시킨 뒤, 동일한 데이터에 대해 가우시안 혼합 모델(GMM)과 독립 픽셀 모델을 비교 대상으로 설정한다. 로그우도는 제안된 추정기를 사용해 각각 추정되며, 결과는 다음과 같다. 1. **DBN vs. GMM**: DBN의 평균 로그우도는 GMM보다 현저히 낮았다. 특히, GMM이 20~30개의 컴포넌트를 사용했을 때 가장 높은 로그우도를 기록했으며, 이는 DBN이 복잡한 연속 데이터의 전역 분포를 충분히 포착하지 못함을 의미한다. 2. **층 추가 효과**: 층을 3층, 4층으로 늘려도 로그우도 개선 폭은 미미했다. 이는 greedy pre‑training 방식이 각 층을 독립적으로 최적화하면서 전체 모델의 사전 분포와 사후 분포 사이에 불일치가 발생하기 때문이라고 해석된다. 3. **시각적 vs. 정량적**: 학습된 필터는 Gabor‑like 형태를 보여 시각적으로는 자연 이미지의 기본 구조를 포착한 듯 보이지만, 정량적인 로그우도 측면에서는 충분히 표현력이 부족했다. 논문은 또한 DBN의 greedy learning 과정에 대한 이론적 분석을 제공한다. 각 RBM이 데이터에 대해 최대우도 학습을 수행하지만, 상위 층의 사전 분포가 하위 층의 사후와 일치하지 않을 경우 전체 로그우도가 크게 감소한다. 베스트‑케이스 시나리오를 가정해도, 파라미터 공간의 제한으로 인해 모델이 본질적으로 제한된 표현력을 갖는다는 결론에 도달한다. 결론적으로, 딥 빌리프 네트워크는 특징 학습에는 유용할 수 있으나, 자연 이미지와 같은 복잡한 연속 데이터의 확률 밀도 추정에서는 단순한 혼합 모델에 비해 경쟁력이 떨어진다. 저자들은 앞으로 딥 생성 모델을 설계할 때, 로그우도와 같은 정량적 평가 지표를 반드시 포함시켜 모델의 진정한 일반화 능력을 검증해야 한다고 주장한다.