강인한 자동인코더 기반 비지도 특징 선택

본 논문은 고차원 데이터 분석에서 특징 선택의 중요성을 강조하며, 특히 라벨이 없는 상황에서 데이터를 동시에 클러스터링하고 가장 구별력 있는 특징을 추출하는 비지도 특징 선택(UFS)의 어려움을 다룬다. 기존 UFS 방법은 크게 필터, 래퍼, 임베딩 기반 세 종류로 나뉘며, 최근에는 그래프 학습, 비음수 행렬 분해, 판별 제약 등을 결합한 임베딩 기반 접근이 주목받고 있다. 그러나 두 가지 근본적인 문제점이 남아 있다. 첫째, 대부분의 방법이 특징과 의사 레이블 사이를 선형 매핑으로 가정해 복잡한 비선형 관계를 포착하지 못한다. 둘째, 실제 데이터에 흔히 존재하는 이상치(outlier)를 무시하거나, 이상치가 클러스터링에 미치는 영향을 충분히 고려하지 않는다. 이를 해결하기 위해 저자들은 ‘Robust Autoencoder‑based Unsupervised Feature Selection(RAEUFS)’ 모델을 제안한다. 핵심 아이디어는 (1) 강인한 서브스페이스 복구(Robust Subspace Recovery, RSR) 레이어를 포함한 자동인코더(AE)를 사용해 비선형 특성 표현을 학습하고, (2) ℓ₁ 손실을 적용해 재구성 오류와 RSR 손실을 최소화함으로써 이상치에 대한 강인성을 확보한다. 모델 구성은 다음과 같다. 입력 데이터 X∈ℝ^{N×D}는 가중치 W∈ℝ^{D×p}를 통해 p차원으로 선형 변환된 뒤, 신경망 인코더 E가 q차원 잠재 코드 z로 매핑한다. 이어지는 RSR 레이어 A∈ℝ^{q×d}는 잠재 코드를 다시 d차원(클러스터 수 c + 1)으로 압축한다. 여기서 d≥c+1이라는 제약은 (a) 클러스터 구분을 위한 충분한 차원 확보와 (b) 별도의 차원을 이상치 식별에 할당하기 위함이다. 디코더 D는 ˜Z를 원본 차원 D로 복원한다. 전체 손실은 세 부분으로 구성된다. (i) ℓ₁_AE = ∑‖x_i − ˜x_i‖₁, 재구성 오류를 ℓ₁로 측정해 이상치에 덜 민감하게 만든다. (ii) ℓ₁_RSR = λ₁∑‖z_i − AAᵀz_i‖₂² + λ₂‖AᵀA − I_d‖_F², 이는 정상 데이터는 RSR 레이어를 통과해 원래 위치에 가깝게, 이상치는 멀리 밀어내는 역할을 한다. (iii) 클러스터 인디케이터 F와 그래프 S에 대한 정규화 항으로, η‖˜Z − F‖_F² + γ Tr(FᵀL_SF) + β∑s_ij log s_ij이 포함된다. 여기서 F∈ℝ^{N×d}는 Stiefel 다양체(정규 직교 행렬) 위에 제약을 두어 최적화한다. 그래프 S는 적응형 그래프 학습 방식을 차용해, 정보 엔트로피 최소화(∑s_ij log s_ij)와 라플라시안 정규화(Tr(FᵀL_SF))를 동시에 만족하도록 설계된다. 최적화는 교대 최소화(Alternating Minimization) 전략을 사용한다. (1) AE 파라미터(θ, φ)와 가중치 W, A는 ℓ₁_AE + ℓ₁_RSR + α‖W‖₂,₁ 손실을 백프로파게이션으로 최소화한다. 작은 데이터셋은 전통적인 GD, 대규모는 SGD 혹은 Adam을 적용한다. (2) 그래프 S는 닫힌 형태 해(softmax 형태)로 직접 계산한다. (3) F는 Stiefel 다양체 위의 2차 최적화 문제(QOSM)로 변환되어, Generalized Power Iteration(GPI) 알고리즘을 통해 효율적으로 업데이트된다. 전체 알고리즘 흐름은 Algorithm 2에 요약되어 있으며, 각 단계마다 수렴성을 보장한다. 실험에서는 10개 이상의 공개 벤치마크 데이터셋(예: COIL20, ORL, Yale, MNIST‑subset)과 사회학 분야 실제 데이터(라벨이 없는 설문 데이터)를 사용했다. 정제된 데이터에서는 정확도(ACC), 정규화 상호 정보(NMI), 클러스터링 정확도(ACC) 모두 기존 최첨단 방법(SPEC, MCFS, UDFS, AE‑FS 등)보다 평균 3~7% 향상되었다. 특히 20% 수준의 랜덤 이상치를 삽입한 경우, 기존 방법은 성능이 15~30% 급격히 저하되는 반면, RAEUFS는 2~5% 정도만 감소하며 강인성을 입증했다. 또한, 선택된 특징의 sparsity(ℓ₂,₁ 정규화)와 해석 가능성도 높은 수준을 유지했다. 결론적으로, 본 논문은 (1) 비선형 자동인코더와 강인한 서브스페이스 복구를 결합해 복잡한 특성 관계를 효과적으로 학습, (2) ℓ₁ 기반 손실 설계로 이상치에 대한 강인성을 확보, (3) 정보 엔트로피 기반 적응형 그래프 학습을 통해 클러스터 구조를 정밀하게 모델링하는 세 가지 혁신을 동시에 달성한 최초의 비지도 특징 선택 프레임워크를 제시한다. 향후 연구에서는 다중 모달 데이터, 온라인 학습, 그리고 더 복잡한 그래프 구조(예: 하이퍼그래프)와의 결합을 탐색할 여지가 있다.