심층 학습과 신경망 기반 심볼릭 회귀의 통합으로 과학적 발견 가속화

본 논문은 과학·공학 분야에서 데이터 기반 모델링이 점점 중요해지는 흐름에 맞추어, 해석 가능하고 외삽 성능이 뛰어난 심볼릭 회귀를 현대 딥러닝과 결합하는 새로운 프레임워크를 제안한다. 핵심 아이디어는 Equation Learner(EQL) 네트워크를 활용해 신경망 내부에서 수학적 표현을 직접 학습하도록 하는 것이다. EQL은 전통적인 완전 연결 레이어 구조를 유지하면서, 각 뉴런의 활성화 함수를 사전 정의된 원시 함수(항등, 제곱, 사인, 곱셈 등)로 교체한다. 이렇게 하면 네트워크가 입력 변수들의 비선형 조합을 통해 수식 트리를 형성하고, 가중치 행렬이 곧 수식의 계수를 담당한다. EQL의 학습 가능성을 확보하기 위해 저자는 두 가지 정규화 기법을 도입한다. 첫 번째는 L₀·₅ 정규화로, 가중치를 0에 가깝게 만들면서도 미분 가능성을 유지한다. 기존 L₀ 정규화는 NP‑hard 문제라 직접 적용이 어려우나, L₀·₅는 연속적인 근사 형태를 제공한다. 두 번째는 L*₀·₅라는 부드러운 변형으로, 작은 가중치 구간에서 그래디언트가 급격히 발산하는 현상을 완화한다. 실험에서는 L*₀·₅가 L₀·₅보다 학습 안정성이 높으며, 동일한 희소성 수준에서 더 간결한 수식을 도출한다는 것이 확인되었다. 논문은 세 가지 실험을 통해 제안 방법의 범용성을 검증한다. 1) **순수 함수 회귀**: exp(−x²), x²·sin(2πx) 등 다양한 비선형 함수를 데이터로 생성하고, EQL이 20번 반복 실험 중 다수에서 정확한 수식을 복원한다. 10% 가우시안 노이즈가 섞여도 정답률이 크게 감소하지 않으며, 외삽 구간(