최소각 회귀와 L1 패널티 회귀의 모든 것

본 논문은 변수 선택 문제의 중요성을 서론에서 강조하며, 전통적인 단계별 회귀와 전부집합 회귀가 갖는 불안정성 및 통계적 편향을 비판한다. 특히, 변수 선택 후 회귀 계수를 추정하는 전통적 절차가 데이터에 과적합될 위험이 크며, 작은 데이터 변동에도 선택된 변수 집합이 크게 달라지는 ‘불안정성’ 문제를 지적한다. 이러한 배경에서 라쏘(LASSO)와 전진 단계별 회귀가 제안되었지만, 두 방법 사이의 관계가 명확히 규명되지 않은 채 사용되고 있었다. 2장에서는 LARS가 등장하기 전까지의 주요 방법들을 정리한다. 단계별 회귀는 가장 큰 잔차 감소를 보이는 변수를 순차적으로 추가하거나 제거하는 ‘그리디’ 방식으로, 전부집합 회귀는 모든 가능한 변수 조합을 탐색하지만 계산량이 급증한다. 릿지 회귀는 L2 패널티를 통해 계수를 축소하지만 절대로 0이 되지 않아 변수 선택 효과가 없으며, 라쏘는 L1 패널티를 도입해 계수를 0으로 만들면서 변수 선택을 가능하게 한다. 전진 단계별 회귀는 라쏘와 유사한 경로를 따르지만, 연속적인 작은 스텝을 통해 점진적으로 계수를 증가시킨다. 이러한 방법들의 장단점을 비교한 뒤, LARS가 이들 모두를 하나의 통일된 프레임워크 안에 포함시킨다는 점을 강조한다. 3장에서는 LARS의 다양한 확장 형태를 다룬다. 첫 번째로, 변수 그룹 구조가 사전에 알려진 경우(예: 유전자 경로, 이미지 패치)에는 그룹 라쏘와 유사하게 전체 그룹을 동시에 선택하거나 제외하도록 알고리즘을 수정한다. 두 번째로, 변수 순서가 의미를 갖는 경우(시계열, 공간 데이터)에는 순서 제약을 부여해 앞선 변수만 선택하도록 제한함으로써 해석 가능성을 높인다. 세 번째로, 다중응답 및 다변량 회귀 상황에서는 각 응답에 대한 LARS 경로를 동시에 추정하거나, 공통된 변수 선택을 강제하는 방법을 제시한다. 네 번째로, 비선형 모델에 대한 확장으로 커널 LARS와 같은 방법을 소개하며, 이는 비선형 관계를 선형 공간으로 매핑한 뒤 동일한 최소각 절차를 적용한다. 마지막으로, 계산 효율성을 높이기 위한 QR 분해 기반 구현, 메모리 절감 기법, 병렬화 전략 등을 논의한다. 4장에서는 LARS와 관련된 이론적 특성을 심도 있게 분석한다. 예측 목표와 변수 선택 목표를 각각 정의하고, Cp, AIC, BIC, 교차 검증 등 다양한 모델 선택 기준을 LARS 경로에 적용하는 방법을 제시한다. 적응형 라쏘(Adaptive LASSO)는 초기 라쏘 추정치를 가중치로 사용해 변수 선택 일관성을 강화하는데, LARS와 결합하면 계산 속도와 선택 정확도를 동시에 개선할 수 있다. 또한, Dantzig selector와의 관계를 통해 L1 기반 최적화 문제의 다양한 해법을 비교한다. 이론적 분석을 통해 LARS가 변수 선택 일관성, 예측 정확도, 계산 복잡도 측면에서 우수함을 증명한다. 5장에서는 현재 이용 가능한 소프트웨어 패키지를 정리한다. R 패키지 ‘lars’, ‘glmnet’, ‘caret’ 등은 LARS와 라쏘를 효율적으로 구현하며, MATLAB 툴박스와 Python의 scikit-learn에서도 동일한 기능을 제공한다. 각 패키지의 주요 함수, 입력 옵션, 시각화 도구, 교차 검증 지원 여부 등을 비교하고, 실무에서의 적용 예시를 들어 사용 방법을 안내한다. 6장에서는 결론과 향후 연구 방향을 제시한다. LARS는 변수 선택과 예측 정확도 사이의 트레이드오프를 명확히 시각화해 주는 강력한 도구이며, 다양한 구조적 제약을 손쉽게 통합할 수 있다. 향후 연구 과제로는 고차원 비선형 모델에 대한 이론적 수렴 분석, 대규모 데이터에 대한 분산 구현, 베이지안 프레임워크와의 결합, 그리고 변수 선택 후의 불확실성 정량화 등이 제시된다. 전체적으로, 본 리뷰는 LARS와 라쏘의 원리, 구현, 확장, 이론, 실무 적용까지 포괄적인 지식을 제공함으로써 통계·머신러닝 연구자와 실무자가 최신 변수 선택 기법을 이해하고 활용하는 데 중요한 참고 자료가 된다.