내부 잡음 설계를 위한 변분 커널 디자인

본 논문은 딥러닝 모델 내부에서 사용되는 잡음 메커니즘을 기존의 경험적 템플릿(드롭아웃, 하드 마스킹, 단순 가우시안 노이즈 등)에서 벗어나, 학습 목표와 표현 특성에 맞추어 원칙적으로 설계하는 새로운 프레임워크인 변분 커널 디자인(VKD)을 제안한다. VKD는 잡음 메커니즘을 (법칙 군 F, 상관 커널 K, 주입 연산자 T)라는 삼중 구조로 정의하고, 이 세 요소를 학습 시 요구되는 제약조건(양성 유지, 평균 보존, 지역성, 부드러움 등)으로부터 변분 최적화 문제를 풀어 도출한다. 이렇게 하면 잡음의 상관 구조가 임의의 하이퍼파라미터가 아니라, 선택된 제약조건에 의해 수학적으로 고정된다. 논문은 먼저 “디자인 레이어”를 구체화한다. 공간적 서브패밀리에서는 라플라시안 연산자 L_U에 대한 디리클레 에너지 제약을 두고, 로그 필드 ψ에 대한 2차 최대 엔트로피 원리를 적용한다. 이 변분 문제의 해는 평균이 0이고 공분산이 β⁻¹ L_U⁻¹인 가우시안 필드이며, 여기서 β는 에너지 예산을 조절하는 스칼라이다. 공분산 행렬은 디리클레 그린 커널 G_D(x,y)와 직접적으로 연결되므로, 잡음의 상관 구조는 디리클레 그린 커널이라는 고유한 형태를 갖는다. 이후 Wick 정규화를 수행해 ξ=exp(ψ−½Var