변분 물리 기반 신경망을 이용한 편미분 방정식 해결

본 논문은 물리 기반 신경망(PINN)의 한계를 극복하고자, 신경망을 trial space 로, Legendre 다항식을 test space 로 사용하는 Petrov‑Galerkin 변분 물리 기반 신경망(VPINN)이라는 새로운 프레임워크를 제안한다. 기존 PINN은 PDE의 강형(strong form) 잔차를 무작위로 선택한 수많은 내부·경계 포인트에서 직접 평가하고, 이를 손실 함수에 포함시켜 네트워크를 학습한다. 이러한 접근법은 고차 미분 연산이 필요하고, 많은 샘플 포인트가 요구되어 계산 비용이 크게 증가한다는 단점을 가진다. VPINN은 먼저 PDE를 변분형(weak form)으로 변환하고, 이를 신경망 출력 u_NN(x;w,b)와 테스트 함수 v_k(x)와의 내적 형태로 표현한다. 변분 잔차는 R(v_k)=⟨L u_NN, v_k⟩_Ω−⟨f, v_k⟩_Ω 로 정의되며, 경계조건은 별도의 L_u 항으로 손실에 포함된다. 테스트 함수 집합 V_K는 Legendre 다항식의 유한 차원 스팬으로 구성되며, 각 다항식은 정형화된 가우스‑쿼드라처 포인트를 통해 적분이 근사된다. 핵심 아이디어는 변분식에 부분적분(integration by parts)을 적용해 미분 연산의 차수를 낮추는 것이다. 예를 들어, 2차 미분 연산이 포함된 라플라시안(Laplacian) 항은 ∇·(∇u) 형태로 변환되어, 신경망이 1차 미분만 수행하면 된다. 이는 자동 미분 시 발생하는 수치적 불안정성을 크게 완화하고, 연산량을 절감한다. 특히 얕은 네트워크(숨김층 1개)와 특정 활성화 함수(예: sigmoid, tanh)를 사용할 경우, 변분 잔차를 명시적인 다항식 형태로 전개할 수 있다. 논문은 이러한 경우에 대해 상세한 수식 유도와 함께, 손실 함수가 정확히 계산 가능한 형태가 됨을 보인다. VPINN의 학습 과정은 다음과 같다. (1) 네트워크 파라미터 w, b 를 초기화한다. (2) 선택된 테스트 함수 집합 V_K 에 대해 각 다항식마다 가우스‑쿼드라처 포인트를 배치하고, 변분 잔차 R(v_k)를 계산한다. (3) 변분 손실 L_v = Σ_k ||R(v_k)||^2 와 경계 손실 L_u 를 합산해 총 손실 L = L_v + τ L_u 를 만든다. (4) 역전파를 통해 파라미터를 업데이트한다. 여기서 τ는 경계조건의 중요도를 조절하는 하이퍼파라미터이다. 수치 실험에서는 1차 및 2차 선형 방정식, 비선형 반응‑확산 방정식, 그리고 2차원 파동 방정식 등을 다루었다. 각 실험에서 동일한 네트워크 구조(깊이, 너비)와 학습 스케줄을 사용했으며, VPINN은 PINN 대비 L2 오차가 평균 1~2 자릿수 감소하고, 학습 시간은 30~50% 단축되었다. 특히 경계조건을 정확히 만족시키는 데 있어 VPINN의 L_u 항이 효과적으로 작용했으며, 테스트 함수의 차수를 조절함으로써 지역적 해석 정확도를 자유롭게 제어할 수 있었다. 또한, VPINN은 도메인 분할(domain decomposition)과 결합이 용이하다. 각 서브도메인마다 별도의 테스트 함수 집합을 정의하고, 필요한 경우 서로 다른 차수의 Legendre 다항식을 사용해 지역적 해석 정밀도를 조정할 수 있다. 이는 전통적인 유한요소법에서의 h‑refinement와 p‑refinement를 신경망 기반 학습에 자연스럽게 도입한 형태이다. 오차 분석 측면에서는 DNN 근사의 일반적인 세 가지 오차(근사오차, 일반화오차, 최적화오차)를 재조명하고, 변분 손실이 L2‑norm 기반이므로 최적화 과정에서 손실 스케일이 보다 균일하게 유지돼 학습 초기에 큰 스텝 사이즈를 사용할 수 있음을 실험적으로 확인한다. 또한, 변분 손실이 적은 수의 쿼드라처 포인트만으로도 충분히 정확한 근사값을 제공하므로, 데이터 효율성이 크게 향상된다. 결론적으로, VPINN은 변분 원리를 신경망 학습에 통합함으로써 고차 미분 연산의 부담을 완화하고, 적은 샘플링 포인트로도 높은 정확도를 달성할 수 있는 새로운 프레임워크를 제공한다. 이는 물리 기반 학습이 요구되는 복합 과학·공학 문제, 특히 고차 PDE, 비선형 다중 스케일 현상, 그리고 경계조건이 복잡한 문제에 대한 확장 가능성을 크게 높이며, 향후 딥러닝 기반 수치 해석 분야에 중요한 방향성을 제시한다.