PSO‑패턴검색 기반 메메틱 알고리즘으로 SVM 파라미터 최적화

** 본 논문은 서포트 벡터 머신(SVM)의 핵심 하이퍼파라미터인 비용 파라미터 C와 RBF 커널 폭 γ를 최적화하기 위해, 입자군집최적화(Particle Swarm Optimization, PSO)와 패턴검색(Pattern Search, PS)을 결합한 메메틱 알고리즘(MA)을 제안한다. 서론에서는 SVM 파라미터 최적화가 모델 일반화 성능에 미치는 영향을 강조하고, 기존의 그리드 탐색, 수치 최적화, 진화 알고리즘(GA, ACO, SA 등)의 한계점을 지적한다. 특히, 그리드 탐색은 탐색 비용이 지수적으로 증가하고, 파라미터 범위 설정에 민감하다는 문제를 제시한다. 수치 최적화는 목표 함수가 미분 가능해야 하는 제약이 있으며, 지역 최적에 빠질 위험이 있다. 진화 알고리즘은 전역 탐색 능력이 뛰어나지만, 정밀한 지역 탐색에는 약점이 있다. 이러한 배경에서 메메틱 알고리즘은 전역 탐색(EA)과 지역 탐색(문제 특화 LS)을 결합해 두 장점을 동시에 활용한다는 점에서 주목받는다. 제안된 MA의 구조는 다음과 같다. 초기 단계에서 입자 군집을 무작위로 생성한다. 각 입자는 두 차원( C와 γ)으로 표현되며, 위치와 속도는 각각 Eq.(4)와 Eq.(5)로 제한된 범위 내에서 초기화된다. PSO는 입자들의 개인 최적(pbest)과 전체 최적(gbest)을 이용해 속도와 위치를 업데이트한다(식 7, 8). 관성 가중치 w와 가속 계수 c₁, c₂는 탐색 폭을 조절한다. PSO 단계가 일정 횟수 진행되면, 확률적 선택 전략에 따라 일부 입자를 선택한다. 선택 확률은 입자의 현재 적합도(5‑fold 교차검증 오류)와 전체 적합도 분포에 기반해 계산되며, 높은 적합도를 가진 입자가 선택될 가능성이 크다. 선택된 입자는 패턴검색을 통해 지역 정제를 수행한다. 패턴검색은 현재 점 주변의 2ⁿ(여기서는 4) 이웃 점을 평가하고, 개선이 있으면 해당 점으로 이동한다. 개선이 없을 경우 탐색 스텝을 감소시키며, 스텝이 사전에 정의된 최소값 이하가 되면 정제를 종료한다. 적합도 함수는 5‑fold 교차검증 오류(kCVMR)로 정의된다. 교차검증은 모델의 일반화 성능을 편향 없이 추정할 수 있어, 파라미터 최적화 목표로 적합하다. 실험에서는 여러 공개 데이터셋(예: Iris, Wine, Breast Cancer, Sonar 등)을 사용해 제안 알고리즘과 기존 방법을 비교하였다. 비교 대상에는 전통적인 그리드 탐색, GA, 단일 PSO, PSO‑GA 하이브리드, 그리고 PSO‑PS 메메틱 알고리즘이 포함된다. 성능 평가지표는 평균 정확도, 표준편차, 그리고 실행 시간이다. 결과는 다음과 같다. (1) 제안 알고리즘은 대부분의 데이터셋에서 최고 혹은 준수한 정확도를 기록했으며, 표준편차가 낮아 안정성이 높았다. (2) 실행 시간은 그리드 탐색에 비해 현저히 짧았으며, 단일 PSO보다도 효율적이었다. 이는 지역 정제를 통해 빠른 수렴을 달성했기 때문이다. (3) 확률적 선택 전략을 적용하지 않은 경우, 정제 비용이 급증하고 전역 탐색 효율이 떨어지는 것이 확인되었다. 논문의 주요 기여는 세 가지로 요약된다. 첫째, PSO와 PS를 결합한 메메틱 프레임워크를 설계해 전역 탐색과 지역 정제의 시너지를 구현하였다. 둘째, 탐색·활용 균형을 맞추기 위해 확률적 선택 전략을 도입, 연산 비용을 절감하면서도 유망 영역에 집중적인 정제를 가능하게 했다. 셋째, SVM 파라미터 최적화라는 실용적 문제에 대해 광범위한 실험을 수행, 기존 방법 대비 정확도·안정성·효율성에서 우수함을 입증하였다. 하지만 몇 가지 제한점도 존재한다. 현재는 두 개의 연속형 파라미터(C, γ)만을 대상으로 하며, 다중 커널 파라미터나 다중 클래스 SVM, 혹은 비연속형 파라미터(예: 커널 선택)에는 직접 적용하기 어렵다. 또한, 패턴검색의 스텝 감소 규칙과 종료 기준이 문제마다 민감하게 작용할 수 있어, 자동 파라미터 튜닝 메커니즘과의 연계가 필요하다. 향후 연구에서는 메메틱 구조를 다중 파라미터, 다중 목표(예: 정확도와 모델 복잡도 동시 최적화)로 확장하고, 선택 전략을 적응형으로 발전시켜 다양한 머신러닝 모델에 적용하는 방안을 모색할 수 있다. **