베이지안 회귀를 위한 랜덤 프로젝션

본 논문은 대규모 데이터에서 베이지안 선형 회귀의 사후분포를 효율적으로 추정하기 위해 관측 수를 랜덤 프로젝션으로 축소하는 방법을 제안한다. n≫d인 경우, 데이터 포인트를 k=O(poly(d/ε))개로 줄여도 원본 데이터와 거의 동일한 ℓ₂ 와터스테인 거리(1+O(ε)) 수준의 정확도를 유지한다. 가우시안 사전분포와 균등 사전분포 모두에 대해 사후분포 근사가 보장되며, 실험을 통해 실행 시간이 크게 감소함을 확인하였다.

저자: Leo N. Geppert, Katja Ickstadt, Alex

베이지안 회귀를 위한 랜덤 프로젝션
1. **연구 배경 및 동기** 베이지안 선형 회귀는 사전분포와 관측 데이터를 결합해 사후분포를 추정하지만, 관측 수 n이 매우 클 경우 로그우도 계산이 O(n) 비용을 요구한다. 기존 방법은 변수 차원 d 를 줄이거나, 전체 데이터를 여러 번 스캔하는 방식에 의존한다. 그러나 대규모 스트리밍 혹은 메모리 제한 환경에서는 n 자체를 감소시키는 것이 필요하다. 논문은 이러한 요구를 충족시키기 위해 랜덤 스케치(Π) 를 이용해 데이터 포인트를 압축하고, 압축된 데이터로부터 사후분포를 근사하는 이론적·실험적 프레임워크를 제시한다. 2. **핵심 아이디어와 수학적 설정** - 원본 데이터는 X∈ℝ^{n×d}, Y∈ℝ^{n}. - 선형 변환 Π∈ℝ^{k×n} (k≪n) 를 적용해 스케치된 데이터

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기