무작위 분류기 투표 기반 앙상블 VORACE

본 논문은 머신러닝에서 최적의 분류기를 찾는 과정이 비용과 시간 면에서 매우 부담스럽고, 도메인 전문 지식이 요구된다는 문제점을 인식하고, 이러한 제약을 극복할 수 있는 새로운 앙상블 기법인 VORACE(VOting with RAndom Classifiers)를 제안한다. VORACE는 크게 네 단계로 구성된다. 첫째, 사전에 정의된 분류기 종류(Decision Tree, Neural Network, Support Vector Machine 등) 중에서 무작위로 n개의 분류기를 선택한다. 둘째, 선택된 각 분류기에 대해 하이퍼파라미터를 무작위로 초기화하고, 동일한 학습 데이터에 대해 학습시킨다. 셋째, 테스트 샘플에 대해 각 분류기가 출력하는 클래스별 확률 벡터를 내림차순으로 정렬하여 순위(rank) 형태로 변환한다. 넷째, 이러한 순위 프로파일을 사회 선택 이론에서 정의된 투표 규칙에 입력해 점수를 집계하고, 가장 높은 점수를 받은 클래스를 최종 예측값으로 결정한다. 논문은 네 가지 대표적인 투표 규칙을 실험에 적용한다. **Plurality**는 가장 높은 확률을 가진 클래스를 1표로 간주하는 가장 단순한 다수결 방식이며, 이진 분류에서는 모든 투표 규칙이 동일하게 동작한다. **Borda**는 순위 전체를 점수화해 높은 순위에 더 큰 가중치를 부여함으로써 미세한 확률 차이까지 반영한다. **Copeland**은 모든 클래스 쌍에 대해 어느 쪽이 더 많은 표를 얻는지를 비교하고, 승리 횟수가 가장 많은 클래스를 선택한다. 마지막으로 **Kemeny**는 전체 투표 프로파일과 가장 높은 일치도를 보이는 순위를 찾는 최적화 문제이며, NP‑hard이지만 근사 알고리즘을 통해 실용적으로 적용한다. 이론적 분석은 세 부분으로 나뉜다. 첫 번째는 **동일 정확도·독립성 가정** 하에서의 정확도 모델링이다. 각 분류기의 정확도를 p라 하면, Plurality 투표에서 올바른 클래스가 다수표를 얻을 확률은 이항분포의 누적분포함수로 표현된다. 논문은 이를 폐쇄식으로 정리하고, n이 충분히 크고 p>0.5이면 전체 정확도가 1에 수렴한다는 Condorcet Jury Theorem과 동일한 결론을 도출한다. 두 번째는 **정확도가 서로 다른 경우**를 다룬다. 각 분류기의 정확도를 p_i라 두고, 이들을 독립이 아닌 경우를 고려하기 위해 상관계수 ρ_ij를 도입한다. 다변량 정규근사를 이용해 투표 결과의 기대값과 분산을 계산하고, 일반적인 경우에도 다수표가 올바른 클래스를 선택할 확률을 근사식으로 제시한다. 세 번째는 **투표 규칙 자체의 속성**을 이용한 분석이다. Plurality와 Borda는 비동형성, 중립성, 단조성 등을 만족하지만, Copeland과 Kemeny는 쌍별 비교와 전체 순위 일치도를 통해 보다 강건한 결과를 제공한다는 점을 강조한다. 실험에서는 12개의 공개 데이터셋(이미지, 텍스트, 의료 데이터 등)을 선택하고, 각 데이터셋마다 n=50, 100, 200개의 무작위 분류기를 생성했다. 베이스라인으로는 XGBoost, Random Forest, Gradient Boosting, 그리고 전통적인 Bagging·Boosting 기반 앙상블을 사용하였다. 실험 결과는 다음과 같다. (1) **정확도** 측면에서 VORACE는 Plurality와 Borda가 대부분의 데이터셋에서 가장 높은 정확도를 기록했으며, 특히 클래스 불균형이 심한 경우 Copeland과 Kemeny가 유리했다. (2) **학습 비용** 측면에서 VORACE는 하이퍼파라미터 탐색이 필요 없고, 무작위 초기화만으로도 충분히 좋은 성능을 얻어 XGBoost 대비 학습 시간과 메모리 사용량이 30~50% 정도 절감되었다. (3) **다양한 베이스 모델**을 혼합했을 때, 개별 분류기의 정확도가 낮아도(예: 얕은 결정 트리) 충분히 많은 수의 분류기를 포함하면 전체 정확도가 크게 향상되는 현상이 관찰되었다. 이는 전통적인 Boosting 이론에서 “약한 학습기들의 집합이 강한 학습기가 된다”는 원리와 일치한다. 또한 논문은 투표 규칙이 제공하는 **공정성(Fairness)**, **비동형성(Non‑dictatorship)**, **단조성(Monotonicity)** 등 사회 선택 이론의 속성을 앙상블 설계에 활용할 가능성을 제시한다. 예를 들어, 소수 클래스에 대한 가중치를 조정하거나, 특정 투표 규칙을 선택함으로써 예측 편향을 완화할 수 있다. 이러한 접근은 기존 머신러닝 앙상블에서는 거의 다루어지지 않았던 새로운 연구 방향을 열어준다. 결론적으로, VORACE는 도메인 지식이나 복잡한 파라미터 튜닝 없이도 경쟁력 있는 성능을 달성할 수 있는 실용적인 앙상블 프레임워크이며, 투표 이론과의 결합을 통해 이론적 해석 가능성과 설계 자유도를 동시에 제공한다. 향후 연구에서는 투표 규칙의 동적 선택, 클래스별 가중치 학습, 그리고 대규모 분산 환경에서의 효율적인 구현 등을 탐구할 계획이다.