다중작업 자동인코더를 활용한 도메인 일반화 객체 인식

본 논문은 “Domain Generalization for Object Recognition with Multi‑task Autoencoders”라는 제목 아래, 여러 출처 도메인에서 학습한 특징을 활용해 전혀 보지 못한 새로운 도메인에서도 객체 인식을 수행할 수 있는 새로운 특징 학습 알고리즘인 Multi‑Task Autoencoder(MTAE)를 제안한다. 도메인 일반화는 훈련 데이터가 존재하는 여러 관련 도메인으로부터 지식을 습득한 뒤, 이전에 보지 못한 도메인에 적용하는 문제이며, 기존의 딥러닝 기반 객체 인식 모델은 데이터셋 편향(배경, 카메라 시점, 조명 등) 때문에 이러한 일반화에 한계를 보인다. **문제 정의 및 배경** 도메인은 확률분포 \(P_k\) 로 정의되며, 각 도메인에서 \(\{x_i, y_i\}_{i=1}^{N_k}\) 형태의 샘플이 추출된다. 기존 지도 학습은 소스와 타깃 도메인이 동일하다고 가정하지만, 실제 응용에서는 도메인 간 차이로 인해 성능이 급격히 저하된다. 따라서 소스 도메인들만을 이용해 타깃 도메인에 일반화 가능한 특징을 학습하는 것이 핵심 과제이다. **기존 연구와 차별점** 관련 연구로는 Undo‑Bias, UML, LRE‑SVM 등 다양한 도메인 일반화 및 적응 방법이 있다. 대부분은 선형 모델에 편향을 보정하거나 메트릭 학습을 통해 도메인 차이를 최소화한다. 그러나 이들은 명시적인 특징 학습을 수행하지 않으며, 타깃 도메인에 대한 어떠한 정보도 활용하지 않는다. 반면, 본 연구는 자동인코더 기반의 비지도 특징 학습을 도메인 일반화에 직접 적용한다는 점에서 차별화된다. **MTAE 설계** MTAE는 전통적인 자동인코더 구조에 다중 출력 레이어를 추가한 형태이다. 입력‑숨김 가중치 \(W\)는 모든 도메인에 공유되어 도메인 불변 표현을 추출하고, 각 도메인 \(l\)에 대응하는 출력 가중치 \(V^{(l)}\)는 도메인 특화 복원을 담당한다. 학습 과정은 다음과 같다. 1. **데이터 구성**: 각 도메인 \(l\)의 데이터 행렬 \(X^{(l)}\)를 결합해 \(\bar{X}\)를 만든다. \(\bar{X}^{(l)}\)는 도메인 \(l\)의 데이터를 복제해 입력‑출력 쌍을 형성한다. 2. **다중 복원 목표**: 입력 \(\bar{x}_i\)에 대해 모든 도메인 \(l\)에 대해 \(\hat{x}^{(l)}_i = f_{\Theta^{(l)}}(\bar{x}_i)\)를 계산하고, 손실 \(L(\hat{x}^{(l)}_i, \bar{x}^{(l)}_i)\)를 합산한다. 이는 자기 복원과 도메인 간 복원을 동시에 최적화한다. 3. **정규화**: L2 정규화 \(\|W\|_2^2 + \|V^{(l)}\|_2^2\)를 적용해 과적합을 방지한다. 4. **최적화**: 확률적 경사 하강법(SGD)으로 전체 손실을 최소화한다. 학습 중 평균 손실이 안정될 때까지 반복한다. **노이즈 기반 확장(D‑MTAE)** DAE와 동일하게 입력을 인위적인 잡음 \(\tilde{x}\)로 변형한 뒤 복원하도록 하면, 학습된 특징이 잡음뿐 아니라 자연스러운 도메인 변환에도 강인해진다. 이를 D‑MTAE라 명명한다. **불균형 데이터 처리(RAND‑SEL)** 실제 데이터에서는 각 도메인마다 카테고리별 샘플 수가 다를 수 있다. 이를 해결하기 위해 각 카테고리 \(c\)에 대해 최소 샘플 수 \(m_c = \min_l n^{(l)}_c\)를 구하고, 모든 도메인에서 무작위로 \(m_c\)개씩 선택한다. 이 과정을 매 에폭마다 수행해 학습이 균형 잡힌 데이터에 기반하도록 한다. **실험** 1. **합성 데이터셋 (MNIST‑r, MNIST‑s, ETH80‑p, ETH80‑y)** - MNIST‑r: 0°~75° 회전된 6개 도메인, 각 1,000 이미지(10클래스, 100개씩) 사용. - MNIST‑s: 스케일(0.6~1.0) 변형 5개 도메인. - ETH80‑p: 피치 회전(0°~90°) 5개 도메인, 각 80개 이미지. - ETH80‑y: 요 회전(−90°~+90°) 5개 도메인. - 비교 모델: 표준 AE, DAE, CAE, 그리고 MTAE와 D‑MTAE. - 결과: MTAE는 자기 복원만 수행하는 AE보다 5~12% 높은 정확도를 보였으며, D‑MTAE는 추가 노이즈 복원 덕분에 3~7% 더 향상되었다. 2. **실제 이미지 데이터셋 (Office, Caltech, PASCAL VOC2007, LabelMe, SUN09)** - 설정: 하나의 데이터셋을 타깃, 나머지를 소스 도메인으로 사용해 교차‑데이터셋 테스트 수행. - 비교 대상: Undo‑Bias, UML, LRE‑SVM, 그리고 최근의 Deep CORAL 등. - 특징 추출: 학습된 MTAE의 공유 인코더 가중치 \(W\)를 사용해 각 이미지에 대한 피처 \(\phi(x)=\sigma_{enc}(W^\top x)\)를 추출하고, 선형 SVM으로 분류. - 결과: 평균 정확도에서 MTAE가 기존 최첨단 방법들을 2~5% 앞섰으며, D‑MTAE는 특히 조명·배경 변동이 큰 SUN09에서 가장 큰 개선을 보였다. **분석 및 논의** - **도메인 불변성**: 공유 인코더가 다양한 변환을 동시에 복원하도록 학습되면서, 회전·스케일·조명 등 물리적 변환에 강인한 특징을 형성한다. 이는 전통적인 단일‑작업 AE가 특정 변환에만 최적화되는 것과 대조된다. - **다중작업 학습 효과**: 다중 복원 목표가 정규화 효과를 제공해 과적합을 억제하고, 각 도메인 간 상호 보완적인 신호를 활용한다. 이는 멀티‑태스크 학습 이론에서 기대되는 일반화 향상과 일치한다. - **노이즈와 변환의 통합**: D‑MTAE는 인위적인 잡음과 실제 변환을 동시에 학습함으로써, 두 종류의 변동성에 모두 견디는 특징을 얻는다. 이는 실제 환경에서 복합적인 노이즈와 도메인 변동이 동시에 존재할 때 유리하다. - **불균형 처리**: RAND‑SEL은 간단하면서도 효과적인 샘플링 전략으로, 데이터 불균형이 심한 실제 상황에서도 MTAE를 적용 가능하게 만든다. **한계 및 향후 연구** - 현재는 각 도메인 간 1:1 카테고리 매핑을 전제로 하며, 완전한 라벨링이 어려운 경우에는 추가적인 매칭 알고리즘이 필요하다. - 디코더가 도메인별로 독립적이므로, 새로운 도메인이 추가될 때 전체 모델을 재학습해야 하는 비용이 있다. 이를 해결하기 위해 도메인 임베딩을 도입하거나, 메타‑러닝 기반의 빠른 적응 메커니즘을 연구할 여지가 있다. - 현재 실험은 비교적 작은 이미지 해상도(16×16, 28×28)에서 수행했으며, 고해상도 이미지와 더 깊은 네트워크 구조에 대한 확장 검증이 필요하다. **결론** 본 논문은 자동인코더를 다중작업 학습 프레임워크와 결합해, 도메인 간 자연 변환을 “오염”으로 간주하고 이를 동시에 복원하도록 학습함으로써 도메인 일반화 성능을 크게 향상시킨다. 제안된 MTAE와 D‑MTAE는 다양한 합성 및 실제 이미지 데이터셋에서 기존 최첨단 방법들을 일관되게 능가했으며, 불균형 데이터에 대한 실용적인 샘플링 전략도 제시한다. 이러한 접근은 도메인 일반화뿐 아니라 도메인 적응, 전이 학습 등 다양한 전이 학습 시나리오에 적용될 가능성을 열어준다.