드롭아웃과 ReLU 네트워크의 실험적 고찰

본 논문은 최근 인기를 끌고 있는 드롭아웃(dropout) 기법을, 특히 ReLU와 같은 구간선형(piecewise linear) 활성화 함수를 사용하는 신경망에 적용했을 때의 동작 메커니즘을 체계적으로 실험한다. 연구는 크게 네 가지 주제로 구성된다. 1. **테스트 시 가중치‑스케일링 근사의 정확성** 드롭아웃은 학습 단계에서 무작위 마스크를 적용해 서브네트워크를 샘플링하고, 테스트 단계에서는 모든 서브네트워크의 예측을 평균하는 대신 가중치를 0.5(또는 드롭아웃 비율에 따라)로 스케일링하는 간단한 방법을 사용한다. 기존 연구에서는 Monte‑Carlo 샘플링을 통해 근사 정확성을 검증했지만, 본 연구는 은닉층에 10개의 유닛을 두고 2계층 구조를 갖는 작은 네트워크를 대상으로 2^20개의 모든 마스크를 완전 열거해 정확한 기하 평균을 계산하였다. 7개의 이진 분류 과제( MNIST 하위 과제 4개, CoverType 데이터 2개, 인공 다이아몬드 과제)에서 50개의 서로 다른 하이퍼파라미터 설정을 무작위로 선택해 실험했으며, 가중치‑스케일링을 적용한 결과와 정확한 기하 평균 결과 사이의 상대 오류는 대부분 0.2% 이하, 통계적으로 유의미한 차이가 없었다. 이는 비선형 ReLU 활성화에도 불구하고 가중치‑스케일링이 매우 정확한 근사임을 강력히 뒷받침한다. 2. **기하 평균 vs. 산술 평균** 전통적인 배깅이나 앙상블 방법에서는 각 모델의 예측을 산술 평균(arithmetic mean)으로 결합한다. 드롭아웃에서는 가중치‑스케일링이 기하 평균(geometric mean)에 해당하는 근사임을 알려주었지만, 실제 성능 차이가 얼마나 되는지는 명확하지 않았다. 동일한 네트워크에 대해 모든 서브네트워크의 출력을 산술 평균으로 결합한 결과와 기하 평균으로 결합한 결과를 비교한 결과, 절대적인 테스트 오류 차이는 0.75%를 넘지 않았으며, 상대적인 차이도 대부분 20% 이하, 특히 실제 응용에서 무시할 수준이었다. 따라서 기하 평균은 계산 비용이 훨씬 낮음에도 불구하고 실용적인 대안임을 확인한다. 3. **가중치 공유가 있는 드롭아웃과 독립적인 앙상블 비교** 드롭아웃은 “공유 파라미터”라는 특수한 형태의 배깅을 수행한다. 즉, 각 서브네트워크는 동일한 파라미터 집합의 일부만 사용한다. 이를 검증하기 위해, 저자들은 데이터 재샘플링과 고정 마스크를 이용해 독립적인 네트워크들을 각각 학습시킨 뒤, 동일한 규모의 드롭아웃 네트워크와 성능을 비교하였다. 실험 결과, 독립적인 앙상블보다 드롭아웃이 더 좋은 일반화 성능을 보였으며, 이는 파라미터 공유가 각 서브모델이 서로를 규제하는 추가적인 정규화 효과를 제공한다는 것을 시사한다. 특히, 전체 MNIST 다중 클래스 문제에 대해 두 개의 ReLU 은닉층과 가중치 노름 제약(norm‑constraint) 정규화를 적용했을 때, 드롭아웃이 독립 앙상블보다 일관되게 낮은 테스트 오류를 기록하였다. 4. **기하 평균 로그우도에 대한 편향 추정기 기반 새로운 학습 기준** 마지막으로, 저자들은 기존 드롭아웃이 “각 서브네트워크의 로그우도”에 대해 SGD를 수행하는 대신, 전체 앙상블의 기하 평균 로그우도에 대한 편향된 기울기를 직접 추정하는 새로운 손실 함수를 제안한다. 이 방법은 마스크 노이즈 분포를 그대로 유지하면서도 부스팅과 유사한 형태의 업데이트를 수행한다. 그러나 실험 결과, 이 새로운 기준은 기존 드롭아웃 기반 SGD와 비교해 의미 있는 성능 향상을 보이지 않았으며, 오히려 학습 안정성이 떨어지는 경우도 관찰되었다. 따라서 현재 실용적인 관점에서는 기존의 드롭아웃‑SGD가 가장 효율적인 선택임을 확인한다. **전체적인 의의** 본 논문은 드롭아웃의 핵심 메커니즘—가중치 스케일링, 기하 평균, 파라미터 공유—을 작은 규모 네트워크에서 완전 열거를 통해 정확히 검증함으로써, 기존 연구에서 Monte‑Carlo 기반 근사에 의존하던 한계를 극복한다. 또한, 기하 평균이 산술 평균과 거의 동등한 성능을 보이며, 파라미터 공유가 정규화 효과를 제공한다는 중요한 통찰을 제공한다. 마지막으로, 새로운 학습 기준이 실질적인 이점을 제공하지 못한다는 부정적 결과도 과학적 가치가 있다. 이러한 결과들은 대규모 비선형 네트워크에 드롭아웃을 적용할 때 현재 널리 사용되는 가중치‑스케일링 방식이 충분히 신뢰할 수 있음을 뒷받침하고, 향후 연구에서는 파라미터 공유 메커니즘을 보다 정교하게 활용하거나, 기하 평균을 직접 계산할 수 있는 효율적인 알고리즘을 탐구하는 방향이 유망함을 시사한다.