교차 도메인 희소 코딩을 통한 효과적인 데이터 표현

본 논문은 기존의 희소 코딩이 단일 도메인에 국한되어 있다는 한계를 인식하고, 소스 도메인에서 학습된 풍부한 라벨 정보를 타깃 도메인에 효과적으로 전이시키는 교차 도메인 희소 코딩(CroDomSc) 프레임워크를 제안한다. 먼저, 전체 데이터 집합 D 를 소스 도메인 D_S 와 타깃 도메인 D_T 로 분리하고, 각 샘플 x_i 에 대해 공통 코드북 U ∈ ℝ^{D×K} 와 희소 코드 v_i ∈ ℝ^{K} 를 학습한다. 기본 희소 코딩 손실 ‖x_i‑U v_i‖² + α‖v_i‖₁ 에 더해 두 가지 정규화 항을 추가한다. 첫 번째는 라벨 기반 그래프 라플라시안 L 로, 라벨이 같은 샘플은 인접 행렬 W 에 +1, 다른 클래스는 –1, 라벨이 없는 경우 0 으로 정의한다. 이를 통해 tr(VLVᵀ) 를 최소화함으로써 같은 클래스 내부의 코드 간 거리를 줄이고, 클래스 간 거리를 확대한다. 두 번째는 도메인 간 분포 차이를 줄이기 위한 MMD 항이다. 각 샘플에 도메인 인디케이터 π_i (소스는 +1/N_S, 타깃은 –1/N_T) 를 부여하고, 전체 코드 행렬 V 에 대해 tr(VΠVᵀ) 를 최소화한다. 최종 목적 함수는 다음과 같다: min_{U,V} ‖X‑UV‖² + β·tr(VLVᵀ) + γ·tr(VΠVᵀ) + α∑‖v_i‖₁, subject to ‖u_k‖₂ ≤ c (k=1…K). 이 문제는 직접 최적화가 어려우므로 교대 최적화 방식을 채택한다. U 를 고정하고 V 를 업데이트할 때는 각 v_i 에 대해 𝓁₁ 정규화가 포함된 𝓁₂ 손실을 최소화하는 형태가 되며, 수정된 feature‑sign 탐색 알고리즘을 이용해 효율적으로 해를 구한다. 반대로 V 를 고정하고 U 를 업데이트할 때는 제약이 있는 최소제곱 문제로 변환되어 기존 희소 코딩 방법과 동일하게 해결한다. 알고리즘은 초기 코드북을 단일 도메인 희소 코딩으로 초기화한 뒤, 지정된 반복 횟수 T 동안 위 두 단계 를 교대로 수행한다. 테스트 단계에서는 학습된 코드북 U 를 고정하고, 새로운 타깃 샘플에 대해 v 를 구해 분류기에 입력한다. 실험은 두 가지 교차 도메인 시나리오에서 수행되었다. 첫 번째는 사진과 유화라는 시각적 차이가 큰 두 이미지 도메인이며, 20개의 클래스를 각각 100장씩(각 도메인 50장) 수집하였다. 소스와 타깃을 번갈아가며 설정하고, 타깃 도메인에서 600장 훈련, 400장 테스트, 그 중 200장을 라벨링하였다. CroDomSc 로 얻은 희소 코드를 사용해 반지도 SVM을 학습했을 때, 기존 전이 학습 기법인 SSTCA, TCA, Feature Replication(FR), Structural Correspondence Learning(SCL) 보다 일관되게 높은 정확도를 기록하였다. 두 번째 실험은 15명의 사용자 메일함을 각각 도메인으로 간주한 스팸 메일 탐지이다. 두 사용자를 무작위로 선택해 하나를 소스, 다른 하나를 타깃으로 설정하고, 타깃 도메인에서 300장 훈련(100 라벨, 200 비라벨) 및 100장 테스트하였다. 동일한 실험 절차를 40번 반복한 결과, CroDomSc 가 모든 비교 방법을 앞섰으며, 특히 SSTCA 가 일부 경우에 근접했지만 통계적으로 유의미한 차이를 보였다. 결론적으로, 본 연구는 희소 코딩에 MMD 기반 도메인 정렬과 라벨 기반 그래프 정규화를 결합함으로써, 라벨이 부족한 타깃 도메인에서도 강건한 특징 표현을 학습할 수 있음을 입증하였다. 제안된 CroDomSc 는 코드북을 공유함으로써 모델 복잡도를 낮추고, 다양한 분야(이미지 분류, 텍스트 스팸 탐지)에서 전이 학습 효율을 크게 향상시킨다. 향후 연구에서는 대규모 고차원 데이터에 대한 스케일링, 비선형 커널 기반 코드북 학습, 그리고 비정형 데이터(예: 시계열, 그래프)로의 확장을 탐색할 계획이다.