최대최소 거리 기반 비음수 행렬 분해

논문은 비음수 행렬 분해(NMF)가 데이터의 비음수 특성을 이용해 저차원 표현을 학습하는 강력한 도구임을 재확인하면서, 기존 NMF가 레이블 정보를 무시하고 비지도 방식에 머무르는 한계를 지적한다. 이를 보완하기 위해 저자는 감독 학습 관점에서 NMF를 재구성한다. 먼저, 입력 데이터 행렬 X∈ℝ^{d×n}_{+}와 레이블 집합 {y_i}_{i=1}^n을 정의하고, NMF는 X≈UV 형태로 분해한다. 여기서 U∈ℝ^{d×m}_{+}는 기본 행렬, V∈ℝ^{m×n}_{+}는 각 샘플의 새로운 저차원 표현이다. 다음 단계에서 저자는 모든 샘플 쌍을 레이블에 따라 두 집합으로 나눈다. 동일 클래스 쌍 W={(i,j) | y_i=y_j}와 이종 클래스 쌍 B={(i,j) | y_i≠y_j}이다. 목표는 V 공간에서 W에 속한 쌍들의 거리를 가깝게, B에 속한 쌍들의 거리를 멀게 만드는 것이다. 기존 연구가 평균 거리 최소·최대화에 초점을 맞춘 반면, 본 논문은 max‑min 거리 분석을 차용해 “W 중 가장 큰 거리(최대값)를 최소화”하고, “B 중 가장 작은 거리(최소값)를 최대화”한다. 이는 전체 거리 분포를 동시에 압축·확장함으로써 보다 강력한 판별 경계를 형성한다. 이를 수식화하면 다음과 같은 복합 목적함수를 얻는다. min_{U,V,ε,ζ} ‖X‑UV‖²_F + a·ε – b·ζ subject to ‖v_i‑v_j‖² ≤ ε, ∀(i,j)∈W, ‖v_i‑v_j‖² ≥ ζ, ∀(i,j)∈B, U≥0, V≥0, ε≥0, ζ≥0. 여기서 a와 b는 각각 동일 클래스 거리 축소와 이종 클래스 거리 확대의 가중치를 조절하는 하이퍼파라미터이다. ε와 ζ는 각각 W와 B의 최대·최소 거리를 대변하는 슬랙 변수이다. 목적함수는 비볼록성을 띠므로 직접 최적화가 어려워, 라그랑주 승수 λ_{ij} (W에 대한)와 ξ_{ij} (B에 대한)를 도입해 라그랑주 함수를 구성한다. KKT 조건을 적용하면 U와 V에 대한 곱셈‑분할 업데이트 규칙이 도출된다. U ← (X Vᵀ) ⊘ (U V Vᵀ) V ← (Uᵀ X + VΛ + V E) ⊘ (Uᵀ U V + V D + V Ξ) 여기서 ⊘는 원소별 나눗셈을 의미하고, Λ, Ξ는 λ_{ij}, ξ_{ij}를 대각화한 행렬, D와 E는 각각 Λ와 Ξ의 열합을 대각 원소로 갖는 행렬이다. ε와 ζ는 λ, ξ의 합계와 a, b의 비율에 따라 폐쇄형 해를 갖는다(ε = (∑_{W} λ_{ij})/a, ζ = (∑_{B} ξ_{ij})/b). λ_{ij}와 ξ_{ij}는 선형계획법 형태의 서브문제로 해결되며, 0 ≤ λ_{ij} ≤ a, ξ_{ij} ≥ b 를 만족한다. 전체 알고리즘은 다음과 같은 교대 최적화 절차를 따른다. 1) 현재 λ, ξ, ε, ζ를 고정하고 U와 V를 곱셈‑분할 규칙으로 업데이트. 2) 업데이트된 V를 이용해 ε와 ζ를 폐쇄형 식으로 재계산. 3) λ와 ξ를 선형계획법으로 최적화(제약 조건에 따라 상한·하한 적용). 4) 수렴 판단(목적함수 변화가 미미하거나 최대 반복 횟수 도달) 후 종료. 각 단계에서 비음수 제약을 원소별 곱셈‑분할 방식으로 유지한다. 실험에서는 표준 이미지 데이터셋(예: MNIST, ORL)과 얼굴 인식, 문서 분류 등 다양한 분야에 적용하였다. 비교 대상은 기존 FNMF, SS‑NMF, CNMF 등 감독/반감독 NMF 변형이며, 제안 방법은 정확도, 정밀도, 재현율, F1 점수 등에서 일관되게 우수한 성능을 보였다. 특히 클래스 간 경계가 명확히 구분되는 경우, 최대‑최소 거리 제약이 판별력을 크게 향상시켰다. 논문의 한계점으로는 거리 제약을 모든 쌍에 적용함에 따라 O(n²)개의 제약이 발생, 대규모 데이터셋에서 메모리·시간 부담이 커진다. 저자는 향후 연구에서 쌍 샘플링, 근사 거리 행렬, 혹은 커널 기반 거리 확장 등을 통해 확장성을 개선할 계획이라고 제시한다. 결론적으로, 본 연구는 NMF에 클래스 기반 최대‑최소 거리 제약을 성공적으로 통합함으로써 비음수 행렬 분해의 판별 능력을 크게 향상시켰으며, 라그랑주 기반 교대 최적화 프레임워크가 실용적인 구현을 가능하게 함을 입증한다.