텍스트2페이스GAN 세밀한 텍스트 설명으로 얼굴 생성

본 논문은 텍스트‑투‑페이스 생성이라는 아직 충분히 탐구되지 않은 문제를 다루며, 기존 텍스트‑투‑이미지 연구가 주로 꽃, 새, 사물 등 비교적 단순한 객체에 초점을 맞춘 것과 달리, 얼굴이라는 고차원적이고 세밀한 특성을 요구하는 도메인에 도전한다. 이를 위해 저자들은 두 가지 핵심적인 장벽을 확인한다. 첫째, 공개된 얼굴 데이터셋(LFW, MegaFace 등)은 이미지와 속성 리스트만 제공하고, 자연어 캡션이 없으며, 속성 리스트는 도메인 지식이 필요해 일반 사용자가 직접 활용하기 어렵다. 둘째, 텍스트와 얼굴 이미지 사이의 조건부 분포는 다중 모달성을 띠어, 동일 텍스트에 대해 다양한 외모(포즈, 조명, 배경 등)와 일치하는 이미지가 존재한다는 점이다. 이러한 문제를 해결하기 위해 저자들은 CelebA 데이터셋의 40여 개 속성을 기반으로 자동 캡션 생성 알고리즘을 설계한다. 속성을 여섯 개의 질문 그룹(얼굴 구조, 수염·얼굴 털, 헤어스타일, 세부 얼굴 특징, 외모 강화, 액세서리)으로 분류하고, 각 그룹에 해당하는 속성들을 자연어 문장으로 변환한다. 예를 들어 “얼굴 구조: 타원형 얼굴, 높은 광대뼈”와 같은 형태이다. 이렇게 생성된 캡션은 이미지마다 길이가 다를 수 있으며, 이는 실제 사용자 입력이 가변적일 수 있음을 반영한다. 캡션은 Skip‑Thought 모델을 이용해 4800 차원의 벡터로 인코딩한다. Skip‑Thought는 문맥 정보를 보존하면서도 긴 문장을 효과적으로 압축해, 텍스트와 이미지 사이의 정합성을 학습하기에 적합하다. GAN 모델은 DC‑GAN 구조에 GAN‑CLS 손실을 적용한 조건부 GAN이다. 생성기 G는 무작위 노이즈 z와 텍스트 임베딩 φ(t)를 입력받아 64×64 해상도의 얼굴 이미지를 출력한다. 판별기 D는 이미지와 텍스트 쌍을 받아 진위와 매칭 여부를 판단한다. GAN‑CLS는 세 종류의 입력을 사용한다: (1) 실제 이미지‑정확한 텍스트, (2) 가짜 이미지‑정확한 텍스트, (3) 실제 이미지‑불일치 텍스트. 이를 통해 판별기가 텍스트와 이미지 간의 의미적 일치성을 학습하도록 유도한다. 학습 과정에서 판별기가 빠르게 0에 수렴하는 현상을 관찰하고, 이를 완화하기 위해 두 가지 기법을 도입한다. 첫째, 매 3번의 업데이트마다 실제와 가짜 라벨을 교환해 판별기의 학습을 교란한다. 둘째, 라벨에 가우시안 노이즈를 추가해 판별기의 결정 경계를 부드럽게 만든다. 이러한 조치는 생성기가 더 다양한 샘플을 만들도록 압력을 가한다. 평가에서는 일반적인 텍스트‑투‑이미지 메트릭인 Inception Score를 사용했지만, 저자들은 얼굴 데이터에 적용했을 때의 한계를 상세히 논한다. Inception 모델은 ImageNet 클래스에 맞춰 훈련돼 얼굴 특성 구분에 한계가 있으며, 얼굴은 클래스 내 변동성이 크기 때문에 높은 점수가 반드시 이미지 품질을 의미하지 않는다. 또한, Inception Score는 클래스 다양성(p(y))와 이미지 선명도(p(y|x))를 동시에 측정하지만, 얼굴 데이터에서는 클래스 정의 자체가 모호해 이 지표가 신뢰성을 잃는다. 실험 결과, 제안된 모델은 입력 캡션에 포함된 속성을 어느 정도 반영한 64×64 얼굴 이미지를 생성한다. 예시 이미지들은 “곱슬 머리, 타원형 얼굴, 콧수염” 등 구체적인 설명을 잘 재현한다. 그러나 해상도·디테일·다양성 측면에서는 아직 한계가 남으며, 특히 눈, 입술 등 미세한 부분에서 잡음이 발생한다. 저자들은 향후 고해상도 GAN(예: StyleGAN, ProGAN)과 더 강력한 텍스트 인코더(BERT, CLIP) 결합을 통해 품질을 개선할 수 있다고 제안한다. 결론적으로 이 논문은 (1) 대규모 얼굴 데이터에 자동 텍스트 라벨을 부착하는 파이프라인, (2) 멀티모달 텍스트‑조건부 GAN 설계와 학습 안정화 기법, (3) 기존 평가 지표의 부적합성을 분석한 세 가지 주요 기여를 제공한다. 이는 얼굴 복원, 범죄 수사, 가상 아바타 생성 등 실용적 응용 가능성을 열어주며, 향후 연구는 캡션 품질 향상, 고해상도 생성, 인간 평가 기반 메트릭 개발 등에 초점을 맞출 수 있다.