다중 클래스 부스팅의 빠른 학습을 위한 클래스별 약학습기와 좌표 하강법

본 논문은 다중 클래스 부스팅을 위한 새로운 학습 프레임워크를 제시한다. 기존 다중 클래스 부스팅 방법들은 대부분 하나의 약학습기 집합을 모든 클래스가 공유하도록 설계되어, 최적화 과정에서 파라미터가 매우 희소해지는 문제와 수렴 속도가 느려지는 문제를 안고 있었다. 이를 해결하고자 저자들은 “클래스별 약학습기”(class‑specific weak learners)라는 개념을 도입하였다. 구체적으로, K개의 클래스가 존재할 경우, 각 부스팅 반복마다 K개의 새로운 약학습기—각 클래스당 하나씩—를 생성한다. 이러한 구조는 각 클래스가 자신에게 가장 적합한 약학습기만을 사용하게 함으로써, 모델 파라미터가 보다 밀집된 형태로 성장하고, 전체 수렴 속도가 크게 향상된다. 수학적으로는, 다중 클래스 마진 γ(i, y)=w_{y_i}ᵀh_{y_i}(x_i)−w_yᵀh_y(x_i) (y≠y_i)를 정의하고, 지수 손실을 최소화하는 목적함수 min_{w≥0} ‖w‖₁ + C ∑_{i}∑_{y≠y_i} exp(−γ(i, y)) 을 제시한다. 여기서 w는 클래스별 약학습기 가중치 벡터이며, C는 정규화 파라미터이다. 이 문제는 기존 MultiBoost와 동일한 형태이지만, 약학습기 집합이 클래스마다 다르다는 점에서 차별화된다. 최적화는 컬럼 생성(column generation) 기법을 이용한다. 마스터 문제는 현재까지 생성된 약학습기 집합에 대해 위의 목적함수를 풀고, 서브 문제는 각 클래스별로 가장 위반된 제약을 찾아 새로운 약학습기를 추가한다. 서브 문제는 각 클래스에 대해 ~_c = argmax_{~∈F} ∑_{i:y_i=c}∑_{y≠c} λ_{i,y} h_y(x_i) − ∑_{y≠c} λ_{i,y} h_c(x_i) 와 같이 정의되며, 이는 기존 MultiBoost의 서브 문제와 동일한 연산량을 가진다. 따라서 클래스별 약학습기 도입이 추가적인 계산 비용을 발생시키지 않는다. 하지만 마스터 문제의 차원은 K·n (클래스 수 × 약학습기 수)으로 매우 커질 수 있다. 기존 연구에서는 Mosek, L‑BFGS 등 복잡한 2차 최적화 도구를 사용했지만, 이는 대규모 데이터에 비효율적이다. 저자들은 이를 해결하기 위해 “Fast Coordinate Descent”(FCD) 알고리즘을 설계하였다. FCD는 각 변수 w_j에 대해 폐쇄형 해를 구한다. 변수 w_j에 대한 부분 목적함수는 g(w_j) = |w_j| + C