보편적 예측과 베이지안 확인
솔로모노프의 보편적 사전과 모델 클래스를 이용한 베이지안 시퀀스 예측이 전통적 베이지안 방법의 한계(제로 사전 문제, 파라미터 재표현 불변성, 구식 증거 문제 등)를 어떻게 극복하고, 비계산 가능 환경에서도 강력한 총합 및 순간 예측 경계를 제공하는지를 개괄한다.
저자: ** Marcus Hutter **
본 논문은 베이지안 추론이 직면한 근본적인 두 문제—모델 클래스 선택과 사전 분포 설정—에 대해 솔로모노프의 보편적 분포와 사전 개념을 도입함으로써 통합적인 해결책을 제시한다. 서론에서는 베이지안 프레임워크가 가설 검증, 파라미터 추정, 시퀀스 예측 등 다양한 인덕션 문제에 성공적으로 적용돼 왔지만, 복잡한 실제 상황에서는 적절한 모델 클래스와 사전 선택이 모호하거나 불가능하다는 점을 지적한다. 솔로모노프는 모든 가능한 컴퓨터 프로그램을 가산 집합 M_U에 포함시키고, 각 프로그램 ν에 대해 사전 가중치 w_U(ν)=2^{-K(ν)}(K는 Kolmogorov 복잡도)로 정의함으로써 ‘보편적 사전’을 만든다. 이 사전은 단순한 가설에 높은 확률을, 복잡한 가설에 낮은 확률을 할당하지만, 어느 가설도 확률 0이 되지 않는다.
2장에서는 일반적인 베이지안 시퀀스 예측 설정을 수학적으로 정리한다. 관측된 문자열 x₁…x_{t-1}에 대해 예측 분포 ρ(x_t|x_{
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기