탭ular 데이터 표현 보정기

본 논문은 탭ular 데이터에 특화된 딥러닝 모델이 직면하는 두 가지 근본적인 문제, 즉 표현 이동(Representation Shift)과 표현 중복(Representation Redundancy)을 해결하기 위해 “탭ular Representation Corrector”(TRC)라는 새로운 보정 프레임워크를 제안한다. 기존의 인‑러닝(in‑learning) 방식은 백본 모델을 처음부터 학습하거나 여러 정규화 제약을 동시에 적용해야 하는 복잡성을 가지고 있다. 반면 프리‑러닝(pre‑learning) 방식은 사전 텍스트 작업을 설계하고 추가 학습 비용을 소모한다. 두 접근법 모두 파라미터를 직접 수정하거나 외부 지식을 필요로 하기 때문에, 이미 학습된 모델을 그대로 활용하고자 하는 실무 상황에 적합하지 않다. TRC는 이러한 한계를 극복하고자, 이미 학습된 백본 Gf(·;θf)를 완전히 고정한 채, 별도의 보정 모듈 Gp(·;θp)와 새로운 예측 헤드 Gh(·;θh)를 도입한다. Gp는 입력으로 백본이 출력한 원시 표현 z를 받아, 두 단계의 변환을 수행한다. 첫 번째 단계인 “표현 재추정”(Tabular Representation Re‑estimation)에서는 z에 내재된 노이즈를 추정하고 보정한다. 구체적으로, Shift Estimator는 z를 입력받아 Δẑ를 출력하고, 이를 원본 z에서 차감해 보정된 표현 ẑ = z – Δẑ 를 만든다. 이 과정은 실제 데이터에 인위적인 노이즈를 주입해 성능 저하를 관찰한 실험적 근거에 기반한다. 두 번째 단계인 “공간 매핑”(Tabular Space Mapping)은 보정된 ẑ를 저차원 라이트 임베딩 공간으로 투사한다. 여기서는 Coordinate Estimator가 ẑ를 입력받아 새로운 좌표 벡터 c를 생성하고, 이를 통해 재구성 손실과 예측 손실을 동시에 최소화한다. 논문은 Singular Value Entropy(SVE)를 도입해 표현 공간의 복잡도를 정량화한다. 높은 SVE는 표현이 과도하게 분산돼 중복 정보가 많음을 의미하며, 이는 일반화 성능 저하와 연결된다. 실험 결과, 기존 딥 탭ular 모델들은 SVE가 낮은 경우에 더 좋은 성능을 보였으며, TRC는 SVE를 효과적으로 낮추면서도 핵심 예측 정보를 보존한다. TRC의 학습 목표는 다음과 같다. (1) Shift Estimator를 위한 L_shift = ‖Δẑ – Δz_true‖²(또는 유사 정규화 손실) 최소화, (2) Coordinate Estimator와 재구성 디코더를 위한 L_rec = ‖G_dec(c) – ẑ‖² 최소화, (3) 최종 예측을 위한 L_pred (예: 교차 엔트로피 또는 MSE) 최소화. 전체 손실은 이 세 부분을 가중합한 형태이며, 백본 파라미터는 고정된 채 보정 모듈과 헤드만 업데이트한다. 실험에서는 FT‑Transformer, ResNet‑Tabular, SNN, PTaRL 등 최신 딥 탭ular 백본에 TRC를 적용했다. 다양한 공개 벤치마크(예: UCI, Kaggle, 의료 데이터)에서 평균 2~4%p의 정확도 향상을 기록했으며, 특히 (i) 입력에 노이즈가 추가된 경우, (ii) 학습 샘플이 제한된 소규모 데이터셋, (iii) 결측치가 많이 포함된 상황에서 큰 성능 개선을 보였다. 시각화 결과, 보정 전후의 표현 분포가 더 명확히 클러스터링되고, SVE가 현저히 감소한 것을 확인할 수 있었다. 논문의 기여는 다음과 같다. 첫째, 백본 파라미터를 전혀 변경하지 않고도 표현을 교정하는 모델‑불가지 보정 프레임워크를 제시했다. 둘째, 표현 이동과 중복이라는 두 가지 핵심 문제를 각각 전용 추정기와 매핑기를 통해 체계적으로 해결했다. 셋째, 다양한 딥 탭ular 모델과 데이터셋에 대한 광범위한 실험을 통해 TRC의 일반성과 효율성을 입증했다. 한편, 제한점으로는 보정 모듈 자체가 추가 파라미터와 학습 단계(특히 Shift Estimator와 Coordinate Estimator)의 설계에 민감하다는 점이다. 데이터 특성에 따라 최적의 하이퍼파라미터가 달라질 수 있으며, 과적합 방지를 위한 정규화 전략이 필요하다. 향후 연구에서는 메타러닝 기반 자동 하이퍼파라미터 튜닝, 다중 도메인 전이 학습, 그리고 비지도 방식의 자체 노이즈 추정 기법을 도입해 보정 모듈의 범용성을 더욱 강화할 계획이다.