소규모 재배선 신경망의 학습 효율 재검토: 작은 세계 가설의 오류와 재현성 문제

본 논문은 2005년 Phys. Lett. A에 발표된 Simard et al.의 “Fastest learning in small‑world neural networks”를 비판하고 재검증한다. Simard et al.은 피드포워드 신경망(FNN)의 일부 연결을 무작위로 재배선함으로써 작은 세계(small‑world) 네트워크를 만들 수 있으며, 이러한 구조가 학습 오류를 최소화한다는 두 가지 핵심 결론을 제시하였다. Guo et al.은 이 두 결론에 대해 두 차원에서 반박한다. 첫 번째 차원은 네트워크 토폴로지 측정이다. 작은 세계 네트워크를 정의할 때 전역 효율성 \(E_{\text{global}}\)와 지역 효율성 \(E_{\text{local}}\)을 사용해 전역 연결 길이 \(D_{\text{global}}=1/E_{\text{global}}\)와 지역 연결 길이 \(D_{\text{local}}=1/E_{\text{local}}\)를 계산한다. Simard et al.은 지역 서브그래프 \(G_i\)를 정의할 때, 뉴런 \(i\)와 같은 층에 있는 모든 뉴런을 포함시켰다. 이는 Latora와 Marchiori가 제시한 “이웃 집합” 정의와 일치하지 않으며, 실제 물리적 연결이 없는 뉴런까지 포함함으로써 지역 효율성을 과대평가하고, 결과적으로 \(D_{\text{local}}\)를 과소평가한다. Guo et al.은 이를 바로잡아, \(G_i\)를 “뉴런 \(i\)에 직접 연결된 뉴런 집합”으로 제한하였다. 그 후 네 가지 피드포워드 네트워크(A‑D)를 설정하였다. 네트워크 A는 5 × 5 층, B는 5 × 8, C는 15 × 8, D는 10 × 10 구조이다. 각 네트워크에 대해 재배선 수 \(N_{\text{rewire}}\)를 0부터 최대값까지 변화시키면서, 100개의 무작위 재배선 샘플을 생성해 \(D_{\text{global}}\)와 \(D_{\text{local}}\)를 측정했다. 결과는 모든 네트워크에서 \(D_{\text{global}}\)와 \(D_{\text{local}}\)가 동시에 최소가 되는 구간이 존재하지 않으며, 즉 작은 세계 특성(높은 전역 효율성 + 높은 지역 효율성)이 나타나지 않는다. 이는 기존 Watts‑Strogatz 모델에서 규칙 격자를 임의 재배선하면 작은 세계가 형성된다는 일반적인 기대와는 달리, 피드포워드 구조의 층간 연결 제약이 작은 세계 형성을 방해한다는 중요한 통찰을 제공한다. 두 번째 차원은 학습 성능이다. Guo et al.은 Simard et al.과 동일한 학습 파라미터(백프로파게이션, 학습률, 반복 횟수)를 사용해 네트워크 B, C, D를 각각 40, 40, 30개의 무작위 이진 입력‑출력 패턴으로 학습시켰다. 각 재배선 수에 대해 최소 MAE와 평균 MAE를 20회 이상 반복 측정하였다. 네트워크 B에서는 최적 MAE가 \(N=90\)에서, C에서는 \(N=1100\)에서, D에서는 \(N=750\)에서 관측되었다. 이는 Simard et al.이 보고한 \(N=28, 830, 400\)과 크게 차이가 난다. 또한 동일 네트워크 D에 대해 두 개의 서로 다른 훈련 세트와 세 가지 다른 재배선 샘플을 교차 실험했다. 300 k 반복 학습 후, 최적 재배선 수는 훈련 세트와 연결 샘플에 따라 크게 변동하였다. 즉, 특정 재배선 수가 모든 경우에 학습 오류를 최소화한다는 일반화된 결론은 성립하지 않는다. 결론적으로, Guo et al.은 다음 두 가지 중요한 결론을 제시한다. 1) 피드포워드 신경망을 임의로 재배선해도 작은 세계 네트워크가 형성되지 않는다. 2) 재배선이 학습 성능을 개선할 수는 있지만, 최적 재배선 수는 네트워크 구조, 훈련 데이터, 초기 연결 상태 등에 따라 달라지며 보편적인 최적값은 존재하지 않는다. 따라서 Simard et al.이 제시한 “특정 재배선 수가 가장 빠른 학습을 보장한다”는 주장은 제한된 실험 설계(단일 훈련 세트와 단일 연결 샘플)에 기반한 것이며, 보다 광범위한 재현성 검증이 필요함을 강조한다.