베이지안 회귀와 시계열을 위한 사후 평균·분산 근사법

본 논문은 베이지안 통계에서 사후분포의 평균과 공분산을 정확히 계산하는 것이 어려운 경우를 위해, 평균·분산만을 사전에 지정하고 두 번째 차수 조건부 독립성을 가정하는 ‘부분적으로 지정된 확률 모델(PSPP)’을 제안한다. 1. **서론**에서는 회귀와 시계열 분석이 다양한 과학·경제 분야에서 핵심적임을 강조하고, 기존 베이즈 회귀·시계열 모델이 관측 오차 공분산을 추정하기 위해 복잡한 적분이나 MCMC에 의존하는 한계를 지적한다. 이를 해결하기 위해 ‘모멘트만으로 정의된 모델’이라는 새로운 접근법을 도입한다는 목표를 제시한다. 2. **부분적으로 지정된 확률 모델(PSPP)** 섹션에서는 전체 확률밀도 대신 변수 X와 Y의 평균·공분산만을 사용한다. 핵심 가정은 X‑A_xy Y와 Y가 두 번째 차수 독립성(⟂₂) 관계에 있다는 것으로, 이는 X‑A_xy Y의 평균·분산이 Y의 관측값에 영향을 받지 않음을 의미한다. 이 가정 하에 베이즈 정리에서 얻어지는 정확한 사후 평균·공분산과 동일한 형태의 근사식을 도출한다. 3. **정리 1**은 제곱 손실 하에서 μ_x + A_xy(Y‑μ_y) 가 베이즈 선형 추정량임을 보이며, 이는 베이즈 선형 방법과 PSPP가 동일한 가정을 공유한다는 것을 증명한다. 4. **예시 A·B·C**에서는 다변량 Student‑t, 역다변량 Student‑t, Wishart 분포에 대해 두 차수 독립성 가정이 거의 만족함을 보인다. 특히 자유도가 큰 t‑분포에서는 평균·분산이 거의 변하지 않아 가정이 타당하고, Wishart 경우에도 공분산 행렬의 특정 원소들 간에 동일한 독립성 구조가 유지된다. 5. **PSPP(2) 확장**에서는 관측 공분산 행렬 V가 미지인 상황을 다룬다. X와 V가 각각 Y에 대해 두 차수 독립성을 만족하도록 가정하고, 두 변수의 사후 평균·공분산을 동시에 업데이트한다. 이는 회귀와 상태공간 시계열 모델에서 관측 오차 공분산을 추정하면서도 계산량을 크게 늘리지 않는 장점을 제공한다. 6. **스케일된 관측 정밀도(SOP)와 일반화된 SOP** 섹션에서는 다변량 회귀와 동적 선형 모델(DLM)에서 관측 공분산이 스칼라 혹은 구조화된 형태로 추정될 때, PSPP가 제공하는 폐쇄형 업데이트 식이 기존 MCMC 기반 방법보다 효율적임을 보인다. SOP는 관측 공분산을 하나의 스칼라 정밀도로 모델링하고, 일반화된 SOP는 이를 행렬 형태로 확장한다. 7. **수치 실험**은 두 부분으로 구성된다. 첫 번째는 2차원 시뮬레이션 데이터를 이용해 SOP 모델의 추정 정확도와 수렴 속도를 기존 베이즈 선형 및 전통적인 최대우도 방법과 비교한다. 결과는 PSPP 기반 추정이 평균 제곱 오차가 작고, 계산 시간이 현저히 짧음을 보여준다. 두 번째는 미국의 투자와 재고 변동 데이터를 실제 경제 시계열에 적용한다. 여기서도 PSPP가 예측 정확도와 신뢰구간 폭에서 우수한 성능을 보이며, 특히 관측 공분산이 변동하는 상황에서 강건함을 입증한다. 8. **결론**에서는 PSPP가 “모멘트만으로 충분히 정의된 모델”이라는 새로운 관점을 제공함을 강조한다. 이는 고차원 회귀·시계열, 관측 공분산이 불확실한 상황, 비정규 오차 구조를 다루는 분야에서 사후 평균·분산을 빠르고 안정적으로 얻을 수 있는 실용적인 도구가 된다. 또한 베이즈 선형 방법과의 연계성을 통해 기존 이론적 기반을 유지하면서도 계산 효율성을 크게 향상시킨다.