혼돈을 이용한 분류 정확도 향상

본 논문은 분류 정확도와 학습 효율을 동시에 개선하기 위한 새로운 프레임워크를 제안한다. 기본 아이디어는 입력 데이터를 단순히 선형 변환에 의존하는 기존 소프트맥스 분류기 대신, 데이터를 고차원으로 리프팅하고 그 후 혼돈 역학 시스템을 통해 일정 시간 진화시킨 뒤, 최종적으로 소프트맥스 층에 투입하는 것이다. 1. **문제 정의 및 데이터 구성** - 데이터는 m 차원의 직교 벡터(e_i)에서 정규분포 잡음(σ²)으로 교란된 N = m × N_class 개의 샘플로 구성된다. 각 샘플의 정답 라벨은 원본 직교 벡터의 인덱스 i_n이다. 2. **Baseline 모델** - 원본 m 차원 벡터를 바로 소프트맥스에 입력한다. 가중치 행렬 W∈ℝ^{m×m}를 학습하며, 교차 엔트로피 손실과 Adam 옵티마이저를 사용한다. 3. **리프팅‑강화 모델** - 각 벡터를 m_lift 차원으로 확장한다. 확장 방식은 원본 좌표를 중앙에 두고, 앞뒤에 원본 좌표의 무작위 선형 결합 η_j를 삽입하는 형태이다. 이는 고차원에서 무작위 정규화 역할을 하며, W_lift∈ℝ^{m×m_lift}가 잡음 차원을 억제하도록 학습된다. 4. **혼돈‑강화 모델** - 리프팅된 벡터를 Lorenz‑96 시스템의 초기 상태로 사용한다. Lorenz‑96는 K = m_lift − 3 차원의 동적 시스템으로, dx_i/dt = (x_{i+1} − x_{i−2}) x_{i−1} − x_i + F (F=8) 로 정의된다. - 초기 상태를 T = 2 단위 시간(≈2 Lyapunov time) 동안 4차 Runge‑Kutta(Δt=10⁻²)로 적분한다. 진화 후 얻은 벡터 v_{lift,chaos}는 원본 클래스 라벨을 그대로 유지한다. 5. **학습 및 정규화** - 세 모델 모두 교차 엔트로피 손실에 L2 정규화(λ=10⁻³)를 추가한다. Adam(η=10⁻³, 배치 10)으로 가중치를 업데이트한다. 6. **실험 설계** - m을 2부터 20까지 변화시키며, 각 클래스당 20개의 샘플을 사용한다(총 20 × m 샘플). 잡음 분산 σ=10⁻⁴, 학습·테스트 비율 1:1. - 리프팅 차원 m_lift은 m+6부터 50 사이에서 테스트 정확도를 기준으로 자동 선택한다. - 평가 지표는 두 가지: (1) proportion accuracy (정답 클래스가 최고 확률이면 1)와 (2) accuracy alignment (예측 확률과 정답 원-핫 벡터의 내적 평균). 후자를 주된 성능 지표로 사용한다. 7. **결과** - **학습 속도**: 리프팅+혼돈 모델은 에포크당 손실 감소가 가장 빠르며, baseline 대비 2~3배 빨리 수렴한다. - **테스트 정확도**: m이 10 이상일 때, 리프팅+혼돈 모델이 baseline보다 평균 6~9% 높은 accuracy alignment을 기록한다. 리프팅만 적용한 경우도 약 2~4% 향상이지만, 혼돈을 추가하면 비약적인 개선이 나타난다. - **리프팅 차원의 영향**: m_lift이 충분히 크면(≈m+6~m+12) 잡음 차원을 효과적으로 억제하고, 혼돈 진화가 데이터 클러스터를 명확히 만든다. 지나치게 큰 m_lift은 학습 파라미터가 늘어나 과적합 위험을 높인다. 8. **이론적 해석** - 혼돈 시스템은 초기 조건 간 거리의 지수적 확대를 통해 작은 교란을 고차원 전체에 고르게 퍼뜨린다. 이는 데이터가 고차원에서 보다 구분 가능한 구조를 형성하도록 돕는다. - 리프팅 단계 자체가 이미 무작위 정규화 역할을 하지만, 혼돈 진화는 그 정규화를 ‘동적’으로 전환시켜, 잡음이 고르게 분산된 상태에서 선형 분류기가 최적의 초평면을 찾기 쉽게 만든다. 9. **한계 및 향후 연구** - 현재 실험은 인공적으로 만든 직교 벡터 데이터에 국한된다. 실제 이미지·음성·시계열 데이터에 대한 적용 가능성을 검증해야 한다. - Lorenz‑96 외에도 다양한 혼돈 모델(예: Rossler, Chua)이나 학습 가능한 뉴럴 ODE와 결합해 더 풍부한 비선형 변환을 탐색할 수 있다. - 리프팅 방법 자체를 최적화(예: 학습 가능한 임베딩)하거나, 진화 시간 T와 강제 파라미터 F를 데이터에 맞게 자동 튜닝하는 메커니즘도 필요하다. **결론** 본 연구는 “데이터 → 고차원 리프팅 → 혼돈 진화 → 선형 소프트맥스”라는 새로운 전처리‑분류 파이프라인을 제시함으로써, 기존 선형 분류기의 한계를 동적 시스템의 비선형성으로 보완한다. 실험 결과는 특히 차원이 중간 이상일 때 학습 효율과 최종 정확도 모두에서 유의미한 개선을 보여준다. 이는 혼돈 이론과 머신러닝을 융합한 새로운 연구 방향을 제시하며, 향후 다양한 도메인에 적용될 가능성을 열어준다.