비모수적 가이드가 적용된 자동인코더로 학습된 표현의 혁신
본 논문은 자동인코더에 라벨 정보를 직접 연결하는 파라미터화된 방법 대신, 라벨을 예측할 수 있는 함수가 존재한다는 조건만을 비모수적으로 가정하는 새로운 지도학습 메커니즘을 제안한다. 가우시안 프로세스 잠재변수 모델(GPLVM)과 백컨스트레인(back‑constrained) 기법을 결합해 자동인코더의 잠재공간을 동시에 재구성 손실과 라벨‑GP 손실을 최소화하도록 학습한다. 실험은 Small‑NORB와 또 다른 데이터셋에서 기존 파라메트릭 지도법…
저자: Jasper Snoek, Ryan Prescott Adams, Hugo Larochelle
본 논문은 자동인코더(Autoencoder, AE)의 잠재공간을 지도학습 신호와 결합하는 새로운 접근법을 제시한다. 전통적인 AE는 입력을 재구성하는 손실만을 최소화함으로써 데이터의 주요 변동성을 포착한다. 그러나 이러한 비지도 학습은 라벨과 직접적인 연관성이 약한 경우, 즉 중요한 변동이 라벨과 무관하거나 라벨에 대한 변동이 데이터에 비해 약할 때, 학습된 표현이 판별 작업에 충분히 유용하지 않을 수 있다. 기존 연구들은 이러한 문제를 해결하기 위해 AE에 파라메트릭한 라벨 매핑(c(x; Λ))을 추가하고, 로지스틱 회귀와 같은 특정 분류기를 동시에 학습시켰다. 이 방법은 라벨 예측 성능을 향상시킬 수 있지만, 두 가지 근본적인 한계가 있다. 첫째, 라벨 매핑을 특정 파라메트릭 형태에 제한함으로써 표현이 해당 분류기의 구조에 얽매인다. 둘째, 라벨 매핑 파라미터 Λ를 동시에 최적화해야 하므로 학습이 복잡해지고, 라벨 예측에 최적화된 잠재공간이 다른 분류기에는 부적합할 위험이 있다.
이에 저자들은 “라벨을 예측할 수 있는 함수가 존재한다”는 비모수적 가정을 도입한다. 이 가정은 라벨 매핑을 명시적으로 정의하지 않고, 대신 라벨과 잠재공간 사이의 관계를 가우시안 프로세스(GP) 사전으로 모델링함으로써 구현된다. GP는 무한 차원의 함수 공간에 대한 확률적 사전으로, 커널 함수 C(·,·; θ)를 통해 함수들의 상관관계를 정의한다. 라벨을 포함한 관측공간 Z와 잠재공간 X 사이에 GP를 두면, 라벨 매핑 파라미터를 적분해버린 마진 가능도가 얻어지며, 이는 “어떤 함수든 존재한다면 라벨을 예측할 수 있다”는 비모수적 조건과 동등하다.
구체적으로, 저자는 Gaussian Process Latent Variable Model(GPLVM)과 백컨스트레인(back‑constrained) 기법을 결합한다. 백컨스트레인 GPLVM은 잠재공간 X를 직접 최적화하는 대신, 인코더 g(y; φ): Y→X를 파라메트릭 함수(예: 선형 변환 뒤 비선형 활성화)로 두고, 이 인코더의 파라미터 φ를 통해 잠재표현을 결정한다. 이렇게 하면 새로운 입력에 대해 전방향 연산만으로 잠재벡터를 얻을 수 있어 실시간 응용에 적합하다.
라벨 가이드는 다음과 같이 정의된다. 라벨 공간 Z는 M‑차원 실수 공간이며, 각 샘플 n에 대한 라벨 벡터 z⁽ⁿ⁾가 존재한다. 라벨‑GP 손실 L_GP는 인코더 출력에 선형 투영 Γ∈ℝ^{H×J}을 적용한 뒤, 커널 C(·,·; θ_m)으로 구성된 공분산 행렬 Σ_{θ,m,φ,Γ}를 만든다. 이 행렬에 대한 로그‑행렬식과 라벨 벡터의 2차형식( z^{(·)}_mᵀ Σ^{-1} z^{(·)}_m )을 합산한 것이 L_GP이다.
전체 학습 목표는 재구성 손실 L_auto와 라벨‑GP 손실 L_GP를 선형 결합한 형태이다.
min_{φ,ψ,Γ} (1−α) L_auto(φ,ψ) + α L_GP(φ,Γ)
여기서 L_auto는 전통적인 평균제곱오차이며, ψ는 디코더 f(x; ψ)의 파라미터이다. α는 두 손실 간의 트레이드오프를 조절한다. 디코더는 선형으로 가정하고, 인코더와 디코더의 가중치를 공유함으로써 파라미터 수를 감소시켰다. 또한, H
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기