온라인 코디네이트 부스팅 배치 AdaBoost와의 근접 근사와 효율적 구현

**1. 서론** 대규모 데이터 스트림이나 환경 변화에 대응하기 위해서는 배치 학습이 아닌 온라인 학습이 필요하다. 특히 얼굴 검출과 같은 응용에서는 사전에 수집된 데이터와 실제 운영 환경 사이에 차이가 존재하므로, 기존에 학습된 부스팅 모델을 온라인으로 미세 조정하는 것이 성능 향상에 도움이 된다. 본 논문은 이러한 요구를 충족시키기 위해, 약한 학습기(weak hypothesis)는 사전에 고정하고 그 가중치만을 온라인으로 업데이트하는 새로운 알고리즘, 온라인 코디네이트 부스팅(Online Coordinate Boosting, OCB)을 제안한다. **2. 관련 연구** 기존 온라인 부스팅 연구는 Oza와 Russell의 알고리즘, Littlestone의 Winnow, Huang et al.의 증분 학습 등으로 요약된다. 대부분은 예제 가중치를 순차적으로 업데이트하고, 약한 학습기의 오류율을 추정한다. 그러나 이들 방법은 AdaBoost와 정확히 동일한 손실 함수를 최소화하지 않으며, 특히 약한 학습기의 가중치를 재조정하는 메커니즘이 제한적이다. 또한 FilterBoost와 같은 방법은 새로운 약학자를 선택·학습하는 데 초점을 맞추어 기존 학습기의 가중치를 드리프트에 맞게 조정하지 못한다. **3. 온라인 코디네이트 부스팅 이론** - **3.1 AdaBoost의 정확한 증분 형태** AdaBoost는 손실 Z_J = Σ_i d_i e^{−α_J m_{iJ}} 를 최소화한다. N개의 기존 예제와 새 예제(N+1)를 고려하면, α_J의 증분 Δα_J 를 미분하여 최적값을 구하면 Δα_J = ½ log