이징 퍼셉트론 가중치 공간에서 무작위 보행을 통한 학습 전략

** 본 논문은 이징 퍼셉트론(가중치가 이진값 ±1인 단일층 피드포워드 네트워크)의 학습 문제를 다루며, 특히 무작위 보행(random walk) 기반 로컬 탐색 알고리즘을 제안한다. 문제 설정은 N개의 입력 뉴런이 N개의 이진 시냅스와 연결되어, M=αN개의 무작위 이진 입력 패턴 ξ^μ와 목표 출력 σ^μ₀(±1)를 정확히 분류하도록 가중치 벡터 J를 찾는 것이다. 이 문제는 NP‑complete이며, 이론적으로는 저장 용량 상한 α_s≈0.83이 알려져 있다. ### 1. 알고리즘 설계 - **초기화**: 무작위 가중치 J(0) 선택. - **패턴 순차 제시**: 패턴 ξ₁, ξ₂, …, ξ_M을 순서대로 투입. - **학습 단계**: 현재까지 m개의 패턴을 모두 만족하는 가중치 J(t)가 주어졌을 때, (m+1)번째 패턴을 만족시키기 위해 가중치를 변형한다. - **플립 집합 A(t) 구성**: - **SWF (Single‑Weight Flip)**: 현재 가중치가 ‘barely learned’(안정장 h_μ=1) 패턴을 손상시키지 않는 단일 인덱스 j를 모두 모은 집합. - **DWF (Double‑Weight Flip)**: (i,j) 쌍을 고려하되, ‘barely learned’ 패턴이 h_μ=1 또는 3인 경우에만 제한을 가한다. - **무작위 선택 및 업데이트**: A(t)에서 무작위로 하나(또는 하나의 쌍)를 선택해 플립하고, 새로운 가중치가 여전히 앞선 m개의 패턴을 만족하면 진행한다. - **종료 조건**: 모든 M 패턴을 만족하거나, A(t)≡∅(고립점) 혹은 Δt_m > Δt_max(=1000) 발생 시 학습 중단. ### 2. 재학습 전략 (Relearning) 학습이 정체될 경우, 현재까지 ‘barely learned’ 패턴 k개를 일시적으로 제외하고, 그 뒤의 k개의 새로운 패턴을 먼저 학습한다(1단계). 이후 제외했던 k개 패턴을 다시 학습한다(2단계). 두 단계 모두 성공하면 학습을 계속하고, 실패하면 현재 시도 전체를 포기하고 새로운 초기화로 재시도한다. 이 전략은 로컬 최소에 빠지는 확률을 크게 낮추어 저장 용량을 향상시킨다. ### 3. 실험 결과 - **기본 SWF/DWF**: N=101에서 α≈0.63, N=1001에서 α≈0.41. - **재학습 적용**: N=101에서 α≈0.80, N=1001에서 α≈0.42. - **시간 복잡도**: 평균 학습 시간은 N에 비례하는 단위 시간당 N번의 플립을 수행하므로, 실험적으로도 N≈10³ 이하에서는 빠른 수렴을 보인다. - **해밍 거리 분석**: 동일 α에서 여러 시도에 의해 얻어진 솔루션들의 평균 해밍 거리 ⟨d⟩는 α가 증가할수록 감소한다. 고정 α에서 N이 커질수록 거리 분포의 폭이 좁아져, 대규모 시스템에서는 솔루션 클러스터가 매우 밀집한다는 것을 확인했다. ### 4. 이론적·실용적 의미 - **이론 상한과의 근접**: α≈0.80은 이론적 상한 α_s≈0.83에 근접하면서도 구현이 단순하다. 기존의 유전 알고리즘, 메시지 패싱, 시뮬레이티드 어닐링 등 복잡한 파라미터 튜닝이 필요 없는 장점이 있다. - **생물학적 연관성**: 순차적 패턴 제시와 재학습(잊혀진 패턴 재활성화) 메커니즘은 뇌의 시냅스 가소성 및 재현 과정과 유사하며, 무작위 보행이 실제 신경 회로의 학습 역학을 모델링할 가능성을 제시한다. - **확장 가능성**: 현재는 무작위 이진 패턴에 한정했지만, 플립 집합 정의를 일반화하면 다중값 시냅스, 비대칭 패턴, 혹은 제약 만족 문제 전반에 적용할 수 있다. ### 5. 결론 및 향후 연구 본 연구는 무작위 보행 기반 로컬 탐색이 이징 퍼셉트론의 저장 용량을 크게 향상시킬 수 있음을 실험적으로 입증하였다. 특히 재학습 전략은 로컬 최소에 빠지는 현상을 효과적으로 완화한다. 향후 연구에서는 (i) 플립 선택에 대한 확률적 편향(예: 에너지 기반 메트로폴리스), (ii) 대규모 N→∞ 극한에서 해밍 거리와 클러스터 구조의 정량적 분석, (iii) 실제 신경 회로와의 비교 실험 등을 통해 알고리즘의 일반화와 생물학적 타당성을 심화시킬 수 있을 것이다. **