차원 축소와 회귀: 쿠크 모델에 대한 비평

Ronald Christensen은 Dennis Cook의 차원 축소 회귀에 관한 Fisher Lecture 논문을 비평하고, 이를 다변량 선형 모델 이론을 통해 재구성한다. 논문은 먼저 Fisher가 제시한 “예측변수는 종속변수와 무관하게 선택되어야 한다”는 원칙을 상기시키며, 주성분 분석(PCA)이 이 원칙을 만족한다는 점을 강조한다. 그는 Cook이 제안한 네 가지 모델(식 2, 5, 10, 13)을 차례로 검토한다. 모델 (2)는 전통적인 PCA와 동일하게, 전체 공분산 행렬 Σ̂ 의 앞 d 개의 고유벡터가 차원 축소 공간 C(Γ) 을 형성한다. 모델 (5)는 제한된 공분산 행렬(예: X 에 대한 제약)에서 추출된 주성분을 사용한다. 모델 (10)·(13)은 공분산을 두 부분(Γ와 Γ₀)으로 분해하고, 고유값이 큰 부분이 C(Γ) 에, 작은 부분이 C(Γ)⊥ 에 속한다는 구조적 가정을 둔다. 여기서 차원 축소 공간을 찾는 핵심은 p개의 고유벡터 중 d개를 선택하는 조합을 최대우도 기준으로 판단하는 것이며, 조합 수가 많을 경우 순차 선택 절차가 제안된다. Christensen은 이러한 절차를 다변량 선형 모델식 Y = XB + E (식 1)와 그 확장형 Y = XΓZ′ + E (식 3)으로 재표현한다. 여기서 Z 은 q × d 행렬이며, Z′Z = I_d 라는 정규조건을 부과한다. 이 재표현을 통해 차원 축소가 실제로는 Z 의 열공간 C(Z) 을 추정하는 문제와 동일함을 보인다. 공분산 추정량 Σ̂, Σ̂_fit, Σ̂_res 을 각각 정의하고, 그 기대값을 계산한다. Σ̂는 전체 공분산, Σ̂_fit은 X에 대한 회귀 후 잔차 공분산, Σ̂_res는 X와 평균을 제거한 후의 공분산이다. 각 추정량은 모델에 따라 다른 정보를 제공한다. 예를 들어, Σ̂_fit은 Z의 열공간을 직접 반영하므로, 최대우도 추정은 Z의 첫 d개의 고유벡터를 선택하는 것과 동등함을 증명한다. 시뮬레이션에서는 d=1, n=250, q=10, p=1 등 다양한 설정으로 σ₀(노이즈), σ(신호), σ_x(예측변수 변동) 값을 바꾸어 실험한다. 결과는 σ₀가 작을 때 Σ̂이, 중간일 때 Σ̂_fit이, 크게 변동할 때 Σ̂_res가 가장 좋은 성능을 보인다. 이는 각 추정량이 잡음과 신호 비율에 따라 서로 다른 정보를 강조하기 때문이다. 또한, 일반적인 Σ에 대해서는 C(Σ⁻¹Z) 를 추정해야 함을 강조한다. Σ̂_res를 이용해 Σ⁻¹를 추정하고, 변환된 고유벡터를 사용하면 된다. 이는 Henderson의 분산성분 추정법과 유사하지만, Cook이 제안한 최대우도 절차가 더 효율적일 가능성을 시사한다. Christensen은 Cook의 모델을 보다 일반적인 선형 대수적 틀 안에 끼워 넣어, 모델 가정, 추정 절차, 그리고 실험적 검증을 일관되게 연결한다. 그는 특히 변수 선택이 종속변수와 무관하게 이루어져야 한다는 Fisher의 원칙을 재확인하고, 주성분 기반 차원 축소가 비선형·비모수 회귀에서 큰 이점을 제공한다는 점을 강조한다. 마지막으로, 표준화 문제와 차원 축소 후 회귀 모델의 해석에 대한 실용적인 조언을 제공한다.