고차원 특징을 활용한 베이지안 분류·회귀와 파라미터 압축 기법

본 논문은 ‘고차원 특징을 이용한 베이지안 분류·회귀’라는 주제로 세 개의 장에 걸쳐 이론적 배경, 방법론, 실험 결과를 체계적으로 전개한다. 1장은 고차원 데이터가 현대 통계·머신러닝에서 차지하는 위치와 기존 방법들의 한계를 서술한다. 특히 피처 선택 과정에서 발생하는 선택 편향과 고차 상호작용으로 인한 파라미터 수 급증을 두 가지 핵심 문제로 제시한다. 베이지안 프레임워크와 마코프 체인 몬테 카를로(MCMC) 기법을 기본 도구로 채택하고, 이를 통해 사전·사후 확률을 명시적으로 모델링한다는 전반적인 연구 방향을 제시한다. 2장은 ‘피처 선택 편향 회피’를 위한 베이지안 방법을 제안한다. 저자는 피처 선택을 확률 변수 ψ로 두고, 선택된 피처 집합에 대한 사전 확률을 정의한다. 나이브 베이즈 모델에서는 각 피처가 클래스 조건부 독립성을 갖는다고 가정하고, 선택된 피처에 대한 사후 분포를 구하기 위해 ψ와 모델 파라미터 φ를 동시에 통합한다. 이때 조정 인자(adjustment factor)를 도출하여, 선택된 피처가 실제 데이터 생성 과정에서 차지하는 불확실성을 보정한다. 수치적 적분을 이용한 예측 단계와 MCMC 기반의 샘플링 절차를 상세히 기술한다. 실험에서는 (1) 이진 나이브 베이즈 모델에 대한 시뮬레이션, (2) 실제 대장암 유전자 발현 데이터에 대한 적용을 수행한다. 결과는 조정 인자를 적용했을 때 실제 오류율과 기대 오류율 사이의 차이가 크게 줄어들며, 모델이 과적합되는 현상이 완화됨을 보여준다. 2.4절에서는 베이즈 혼합 모델에 동일한 접근을 확장한다. 혼합 모델은 여러 잠재 클래스가 존재하는 상황을 다루며, 여기서도 선택 편향을 보정하기 위한 조정 인자를 유도한다. MCMC를 이용해 잠재 클래스 할당과 파라미터를 동시에 샘플링하고, 조정 인자를 적용한 후의 예측 성능을 평가한다. 시뮬레이션과 실제 데이터 실험 모두에서 조정 인자가 예측 정확도와 캘리브레이션을 크게 향상시킨다. 3장은 ‘고차 상호작용 파라미터 압축’이라는 새로운 방법론을 제시한다. 고차 상호작용을 포함한 로지스틱 시퀀스 예측 모델과 로지스틱 분류 모델을 대상으로, 훈련 데이터에서 동일한 값으로 나타나는 피처들을 그룹화한다. 각 그룹은 하나의 압축 파라미터 β̃ 로 대체되며, 압축된 파라미터에 대한 사전 분포를 정의한다. 학습 단계에서는 압축 파라미터에 대해 베이지안 추정을 수행하고, 예측 단계에서는 압축 파라미터를 ‘분할(split)’하여 원래 개별 피처에 대한 추정치를 복원한다. 분할 분포는 베타(β)와 압축 파라미터 간의 관계식으로부터 유도되며, 직접 샘플링 알고리즘을 제공한다. 구체적인 적용 사례는 다음과 같다. (1) 베이지안 로지스틱 시퀀스 예측 모델에서는 O차 상호작용을 고려한 경우 파라미터 수가 O(2^O)까지 늘어나지만, 압축 후에는 O(p) 수준으로 감소한다. 실험에서는 은닉 마코프 모델(HMM)로 생성한 합성 시퀀스와 실제 영어 텍스트 코퍼스를 사용해 파라미터 수, 훈련 시간, MCMC 체인 자동 상관 등을 비교한다. 압축 기법은 파라미터 수를 90% 이상 감소시키고, 훈련 시간을 80% 이상 단축시키면서도 예측 정확도는 유지한다. (2) 베이지안 로지스틱 분류 모델에서는 다중 클래스 상황에서 고차 상호작용 피처를 압축하고, 코시(Cauchy)와 가우시안 사전을 각각 적용한 실험을 수행한다. 결과는 압축 전후의 평균 로그 확률, 평균 제곱 오차가 통계적으로 차이가 없으며, 파라미터 감소에 따른 모델 해석이 용이해짐을 보여준다. 마지막으로 3.6절에서는 압축-분할 절차의 수학적 정당성을 증명하고, 압축 파라미터의 사후 분포가 원래 파라미터들의 사후 분포와 동일한 정보를 담고 있음을 논증한다. 또한, 압축 기법이 베이지안 모델링의 일반적인 프레임워크와 잘 호환되며, 다른 고차원 문제(예: 이미지, 유전체 데이터)에도 확장 가능함을 제시한다. 전체적으로 이 논문은 (1) 피처 선택 편향을 베이지안 조정 인자를 통해 정량적으로 보정하고, (2) 고차 상호작용 파라미터를 압축-분할 메커니즘으로 효율적으로 관리함으로써, 고차원 데이터 환경에서 베이지안 분류·회귀 모델의 정확도와 계산 효율성을 동시에 향상시키는 두 축의 혁신적인 방법론을 제공한다.