메트릭 학습의 모든 것: 특징 벡터와 구조화 데이터의 최신 흐름

본 설문은 머신러닝·패턴인식·데이터마이닝 전반에 걸쳐 거리 혹은 유사도 측정이 핵심 역할을 한다는 점에서 출발한다. 전통적인 유클리드 거리나 코사인 유사도와 같은 일반‑목적 메트릭은 특정 도메인의 특성을 반영하지 못해 성능 한계에 봉착한다. 이를 극복하고자 자동으로 메트릭을 학습하는 ‘메트릭 학습(metric learning)’ 분야가 지난 10년간 급격히 성장했으며, 본 논문은 그 흐름을 체계적으로 정리한다. **1. 메트릭 학습의 기본 프레임워크** 메트릭 학습은 입력 공간 X⊆ℝ^d에 대해 거리 함수 d_M(x,x′)= (x−x′)^T M (x−x′) 형태를 가정하고, M을 양의 반정밀(PSD) 행렬로 제한한다. 학습 목표는 라벨 혹은 부가 정보에 기반한 제약 집합 S(동일 클래스), D(다른 클래스), R(삼중 비교) 등을 만족하도록 M을 최적화하는 것이다. 일반적인 목적함수는  min_M ℓ(M,S,D,R) + λ R(M) 이며, ℓ는 제약 위반에 대한 손실(예: 힌지 손실), R은 정규화(예: 트레이스 정규화, ‖M‖_F)이다. **2. 학습 패러다임** - **완전 지도학습(Fully supervised)**: 라벨 y_i가 주어져 직접 혹은 간접적으로 제약을 생성한다. - **약 지도학습(Weakly supervised)**: 라벨이 없고, 사용자 클릭, 인용, 링크 등 부가 정보만 제공된다. - **반지도학습(Semi‑supervised)**: 위 두 패러다임에 추가로 대량의 무라벨 데이터를 활용해 정규화(예: 그래프 라플라시안)한다. **3. 메트릭 형태와 확장** - **선형 마할라노비스**: 가장 전통적이며, 차원 축소와 동시에 거리 학습이 가능하지만, 고차원에서의 계산 비용이 크다. - **비선형·커널 메트릭**: 커널 함수를 통해 암묵적 고차원 공간에서 선형 메트릭을 학습한다. 커널 선택에 따라 성능이 크게 달라진다. - **딥러닝 기반 임베딩**: 신경망을 이용해 직접 거리 함수를 학습한다. end‑to‑end 최적화가 가능하지만, 대량 라벨이 필요하고 과적합 위험이 있다. - **지역 메트릭**: 데이터 공간을 여러 지역으로 나누고 각 지역마다 별도 M_i를 학습한다. 데이터 분포가 이질적일 때 유리하지만, 영역 정의와 파라미터 수가 문제된다. **4. 손실·정규화 설계** 손실 함수는 힌지, 로지스틱, 트리플렛 손실 등 다양하며, 제약 위반을 직접 최소화한다. 정규화는 모델 복잡도 제어와 일반화 보장을 위해 트레이스 정규화(‖M‖_*), Frobenius 정규화(‖M‖_F^2), 혹은 구조적 정규화(예: 그룹 라쏘) 등을 사용한다. **5. 최근 트렌드** - **선형 유사도 학습**: 거리 대신 직접 유사도 함수를 학습해 k‑NN 대신 랭킹에 최적화한다. - **히스토그램·분포 기반 메트릭**: 이미지·텍스트 등에서 히스토그램 표현을 사용하고, χ², Earth Mover’s Distance 등을 파라미터화해 학습한다. - **일반화 이론**: Rademacher 복잡도, VC 차원, 안정성 기반 경계를 제시해 메트릭 학습의 이론적 신뢰성을 강화한다. - **반지도·반지도 학습**: 사용자 행동 로그, 소셜 네트워크 연결 등에서 추출한 약한 제약을 활용한다. - **구조화 데이터**: 문자열·트리·그래프에 대한 편집 거리와 DTW를 파라미터화하고, EM 혹은 구조적 SVM으로 학습한다. 특히 생물정보학(서열 정렬)과 자연어 처리(문장 유사도)에서 활발히 연구된다. **6. 구현·스케일링** 대규모 데이터에 대한 SDP(반정밀 행렬 최적화) 풀링은 비용이 크므로, 온라인/스테밍 알고리즘, 차원 축소 전처리, GPU 가속, 근사 해법(예: BFGS, ADMM) 등이 제안된다. 오픈소스 라이브러리(metric‑learn, py‑struct, sklearn‑metric)와 공개 데이터셋(Caltech‑Faces, MNIST, Bioinformatics 시퀀스)도 정리한다. **7. 한계와 미래 연구** - **스케일링**: 고차원·대규모 데이터에 대한 효율적 최적화가 여전히 과제이다. - **일반화 보장**: 현재 이론은 주로 선형 메트릭에 국한되며, 비선형·딥 메트릭에 대한 일반화 경계는 미비하다. - **구조화 데이터**: 편집 거리 학습은 연산 복잡도가 높고, 최적화가 비볼록적이라 전역 최적을 보장하기 어렵다. - **다중 모달리티**: 서로 다른 특성 공간(이미지·텍스트·그래프) 간 통합 메트릭 학습이 필요하다. - **자동 하이퍼파라미터 튜닝**: λ, 손실 형태, 지역 분할 기준 등 메트릭 학습에 필수적인 하이퍼파라미터를 자동으로 선택하는 메커니즘이 부족하다. 결론적으로, 메트릭 학습은 “거리 = 학습된 함수”라는 관점을 통해 다양한 도메인에 적용 가능하며, 특히 마할라노비스 기반 선형 메트릭은 이론·실험 모두에서 견고한 성능을 보여준다. 그러나 비선형·지역·구조화 데이터 확장, 일반화 이론 강화, 대규모 최적화 등 남은 과제가 많아 앞으로도 활발한 연구가 기대된다.