간헐적 예측의 한계와 마코프 체인 불가능성

1. **연구 배경 및 문제 정의** - 시간 시계열 예측은 과거 관측값을 바탕으로 미래 값을 추정하는 핵심 통계·정보 이론 문제이다. - Bailey(1976)는 모든 정정성·에르고딕 이진 시계열에 대해 점별 예측 함수열 \(\{f_n\}\) 가 존재하지 않음을 증명, 즉 “문제 1”은 부정적 답을 가진다. - Morvai(2003)는 정지시간 \(\{\lambda_n\}\) 를 도입해, 해당 시점에만 정의되는 추정기 \(\{h_n\}\) 로 조건부 확률을 일관성 있게 추정할 수 있음을 보였지만, 정지시간이 급격히 증가해 실제 적용이 어려웠다. 2. **목표** - 정지시간 기반 예측이 마코프 체인에 대해서는 전역적으로(모든 \(n\)에 대해) 작동하도록 설계될 수 있는가? - 만약 가능하다면, 비마코프 이진 시계열에 대해서도 동일한 정지시간·추정기 쌍이 점별 일관성을 유지할 수 있는가? 3. **주요 결과 – 정리 1** - 임의의 증가하는 정지시간 시퀀스 \(\{\lambda_n\}\) 와 추정기 \(\{h_n\}\) 에 대해, 모든 유한 차수 마코프 체인에서는 결국 \(\lambda_{n+1}=\lambda_n+1\) 가 되도록 설계될 수 있다. - 그러나 같은 \(\{\lambda_n\},\{h_n\}\) 로는 연속적인 조건부 확률을 갖는 비마코프 이진 시계열 \(\{X_n\}\) 에 대해 \(\limsup_{n\to\infty}|h_n-P|>0\) 가 확률 1 이상으로 발생한다. 즉, 오차가 0으로 수렴하지 않는다. - 이는 “마코프 체인이면 결국 모든 시점에서 정확히 예측한다”는 기대가 불가능함을 의미한다. 4. **증명 전략** - **기본 마코프 체인 구성**: 상태공간을 \(\mathbb{N}_0\) 로 하는 마코프 체인 \(\{M_i\}\) 를 정의. 0→1→2 순서대로 반드시 이동하고, 그 이후에는 상태 \(s\ge2\) 에서 0 혹은 \(s+1\) 로 0.5 확률씩 전이. 이는 정규화된 stationary 분포 \(P(M=0)=P(M=1)=1/4,\; P(M=i)=2^{-i}\) (i≥2)를 가진다. - **이진 매핑 함수**: 각 정수 상태에 대해 이진값을 부여하는 함수 \(f^{(j)}\) 를 정의. 초기에는 \(f^{(0)}(0)=f^{(0)}(1)=0,\; f^{(0)}(2k+1)=1\) 로 설정해, \(\{X^{(0)}_i\}=f^{(0)}(M_i)\) 가 유한 차수 마코프 체인이 되게 한다. - **정지시간에 대한 악의적 조작**: 정지시간 \(\lambda_n\) 가 특정 상태 \(2k\) 를 관측했을 때 멈춘다고 가정하고, 그 시점에서 추정기 \(h_n\) 가 0.25보다 큰지 작은지를 판단한다. 판단 결과에 따라 다음 상태 \(2k+1\) 에 대한 매핑값을 0 혹은 1 로 “악의적으로” 정한다. 이렇게 하면, 해당 정지시간 사건이 발생하면 추정기와 실제 조건부 확률 사이의 차이가 최소 0.25가 된다. - **귀납적 구성**: 위 과정을 무한히 반복해 함수열 \(\{f^{(j)}\}_{j\ge0}\) 와 최종 함수 \(f^{(\infty)}\) 를 만든다. 각 단계에서 정의된 정지시간 사건 \(A_j(N_j-1)\) 의 확률이 적어도 \(1/8\) 임을 보이고, 그 안에서 오차가 큰 두 사건 \(B^+_j, B^-_j\) 중 하나가 최소 \(1/16\) 확률로 발생한다. - **Fatou’s Lemma 적용**: \(\limsup_{n\to\infty}|h_n-P|\ge 1/4\) 가 확률 적어도 \(1/16\) 로 발생함을 증명, 따라서 점별 일관성은 깨진다. 5. **연속성 조건부 확률** - 최종 시계열 \(\{X_n\}=f^{(\infty)}(M_n)\) 은 “001” 패턴이 과거에 무한히 자주 나타나므로, 조건부 확률 \(P(X_1=1\mid X_{-\infty}^0)\) 가 거의 surely 연속이다. 이는 논문이 요구하는 “조건부 확률이 거의 surely 연속”이라는 가정을 만족한다. 6. **결과의 의미와 기존 연구와의 관계** - Bailey의 “마코프 체인 여부를 테스트할 수 없다”는 정리는 정지시간 기반 예측이 마코프 체인과 비마코프 체인을 구분하지 못한다는 점을 강조한다. 본 논문의 정리 1은 그보다 강력하게, 마코프 체인이라도 정지시간이 결국 “연속적인” 경우에만 전역적인 예측이 가능하고, 일반적인 비마코프 시계열에서는 불가능함을 보여준다. - Ryabko(1988)와 Györfi‑Morvai‑Yakovitz(1998)의 부정적 결과는 \(\lambda_n=n\) (즉, 매 시점마다 예측) 상황에 한정되었지만, 본 논문은 훨씬 일반적인 정지시간 시퀀스에 대해 동일한 부정적 결론을 확장한다. 7. **실용적 함의** - 온라인 학습·예측 시스템에서 “간헐적”으로 모델을 업데이트하거나 예측을 수행하고자 할 때, 데이터가 마코프 구조를 가질 가능성이 낮다면, 어떠한 정지시간 설계라도 점별 일관성을 보장할 수 없다는 근본적인 한계가 존재한다. - 따라서 실무에서는 마코프 가정이 명확히 검증될 때에만 정지시간 기반 예측을 적용하거나, 비마코프 상황에서는 확률적 성능 보장을 포기하고 평균적인 위험(예: 평균 제곱 오차) 최소화에 초점을 맞춰야 한다. 8. **결론** - 정지시간을 이용한 간헐적 예측은 마코프 체인에 한정된 경우에만 전역적인 점별 일관성을 달성할 수 있다. - 모든 정정성·에르고딕 이진 시계열에 대해 동일한 정지시간·추정기 쌍으로 점별 예측을 보장하는 것은 불가능하며, 이는 마코프 체인 여부를 판별할 수 없는 근본적인 정보 이론적 한계와 일맥상통한다.