라벨 없는 데이터로 멘토‑학생 모델을 압축하는 DeepMimic

본 논문은 “DeepMimic”이라는 새로운 학습 프레임워크를 제안한다. 이 프레임워크는 실제 서비스 환경에서 라벨이 제한된 상황을 가정하고, 소량의 라벨 데이터와 대량의 비라벨 데이터를 동시에 활용한다. 구체적인 절차는 다음과 같다. 먼저 전체 데이터셋을 1:4 비율로 나누어, 20 %에 해당하는 라벨 데이터를 사용해 멘토 모델을 학습한다. 멘토는 일반적인 CNN 구조를 사용하며, 학습 과정에서 dropout 등 다양한 정규화 기법을 적용해 높은 정확도를 달성한다. 멘토가 충분히 학습된 뒤, 남은 80 % 비라벨 샘플에 대해 멘토의 소프트맥스 출력을 추론한다. 이때 얻어지는 확률 분포는 “소프트 라벨”이라 불리며, 각 클래스에 대한 멘토의 신뢰도를 반영한다. 다음 단계에서는 이 소프트 라벨을 목표로 삼아 학생 모델을 학습한다. 학생 모델은 멘토와 동일한 구조일 수도 있고, 더 얕거나 파라미터가 적은 구조일 수도 있다. 중요한 점은 학생 모델이 라벨이 전혀 없는 데이터를 사용한다는 것이다. 학생은 SGD와 교차 엔트로피 손실을 그대로 사용하지만, 소프트 라벨 자체가 라벨 스무딩 역할을 하므로 정규화가 크게 필요하지 않다. 실험에서는 MNIST, CIFAR‑10, Tiny‑ImageNet 세 가지 데이터셋에 대해 다양한 학생 아키텍처를 시험하였다. MNIST 실험에서는 멘토와 동일한 구조(Student‑A)가 97.46 %의 정확도를 보였으며, 더 얕은 Student‑B는 97.17 %로 거의 동일한 성능을 유지했다. CIFAR‑10에서는 멘토가 73.14 %를 기록했으며, Student‑A는 73.58 %로 멘토를 약간 능가했고, Student‑B와 Student‑C도 각각 98.96 %와 95.2 %의 상대 정확도를 달성했다. 이는 학생 모델이 멘토와 동일하거나 더 간단한 구조에서도 성능 손실이 미미함을 보여준다. 또한, 혼동 행렬을 통해 두 모델이 동일한 클래스에 대해 비슷한 오류 패턴을 보임을 확인하였다. 논문은 이러한 결과를 바탕으로 다음과 같은 장점을 주장한다. 첫째, 라벨이 부족한 상황에서도 비라벨 데이터를 활용해 높은 정확도를 얻을 수 있다. 둘째, 학생 모델이 멘토보다 가볍고 얕기 때문에 학습 시간과 추론 비용이 크게 감소한다. 셋째, 멘토의 아키텍처를 알 필요 없이 소프트 라벨만 있으면 동일한 성능을 복제할 수 있어, 블랙박스 모델을 “모방”하는 것이 가능하다. 넷째, 소프트 라벨을 이용한 학습 자체가 강력한 정규화 효과를 제공한다. 하지만 논문은 몇 가지 제한점을 인정한다. 데이터셋 규모가 작고, 실험에 사용된 비라벨 데이터가 동일 도메인에 국한되어 있다. 또한, 멘토와 학생 모두 동일한 테스트 셋을 사용했으며, 검증 셋을 별도로 두지 않아 일반화 능력을 정확히 평가하기 어렵다. 데이터 분할 비율에 대한 민감도 분석이 부족하고, 0 % 라벨 상황에 대한 실험이 없으며, 기존 지식 증류 기법과의 정량적 비교가 부재하다. 마지막으로, 멘토 모델을 무단으로 복제하는 행위는 저작권 및 프라이버시 이슈를 야기할 수 있다. 결론적으로, DeepMimic은 라벨이 제한된 환경에서 비라벨 데이터를 활용한 효율적인 모델 압축 및 지식 전이 방법을 제시한다. 향후 연구에서는 더 큰 규모와 다양한 도메인의 데이터, 다양한 아키텍처, 온도 스케일링 등 기존 증류 기법과의 결합, 그리고 프라이버시 보호를 위한 방어 메커니즘 등을 탐색함으로써 실용성을 높일 필요가 있다.