PAQ8을 머신러닝 관점에서 해석하고 확장하기

본 논문은 무손실 데이터 압축기 PAQ8을 머신러닝 관점에서 재조명하고, 이를 기반으로 새로운 알고리즘적 개선과 다양한 응용 사례를 제시한다. 서론에서는 시계열 예측과 압축 사이의 깊은 연관성을 강조하며, 기존 PPM(Partial Matching) 계열 압축기가 1990년대에 우수한 성능을 보였지만, 최근 PAQ 계열이 압축률 면에서 이를 앞섰다고 설명한다. 특히 Hutter Prize와 같은 대규모 위키피디아 압축 대회에서 PAQ8 변형이 우승을 차지한 사례를 들어, 압축 효율이 지능의 한 척도라는 관점을 제시한다. 2장에서는 손실 없는 압축의 기본 원리를 소개한다. 데이터는 알파벳(비트·바이트·문자 등)의 시퀀스로 모델링되며, 두 단계—예측(확률 분포 생성)과 인코딩(예측 분포를 비트 스트림으로 변환)—가 핵심이다. 여기서 산술 코딩이 허프만 코딩보다 이론적으로 최적에 가깝게 동작함을 설명하고, 실제 구현 시 부동소수점 정밀도와 바이트 정렬에 따른 오버헤드가 존재함을 언급한다. 이어서 PPM 알고리즘을 상세히 설명한다. PPM은 컨텍스트 매칭을 통해 다양한 길이의 n‑그램을 활용하고, 각 컨텍스트별 확률을 블렌딩하여 최종 분포를 만든다. 이 과정에서 ‘Esc’ 이벤트를 통해 낮은 차수 모델로 백오프(back‑off)하는 메커니즘이 핵심임을 강조한다. 3장에서는 PAQ8의 내부 구조를 단계별로 해부한다. PAQ8은 크게(1) 다중 컨텍스트 생성기, (2) 전문가(예측기) 풀, (3) 가중치 믹서, (4) 적응형 업데이트 모듈로 구성된다. 컨텍스트 생성기는 문자 n‑그램, 바이트 해시, 최근 매치 테이블, 이미지 피처 등 다양한 정보를 추출해 100여 개 이상의 독립적인 예측기를 만든다. 각 예측기는 로지스틱 회귀 형태로, 현재 심볼이 1(출현)일 확률을 출력한다. 가중치 믹서는 이들 예측기의 출력을 선형 결합하고, 시그모이드 함수를 통과시켜 최종 확률을 산출한다. 기존 PAQ8은 이 가중치를 1차 적응(단순 경사하강) 방식으로 온라인 업데이트했으며, 학습률은 고정 혹은 경험적으로 조정되었다. 저자는 이러한 1차 적응이 빠른 수렴을 보이지만, 장기적인 편향 보정에는 한계가 있음을 지적한다. 이를 보완하기 위해 확장 칼만 필터(EKF)를 도입한다. EKF는 비선형 로지스틱 모델의 파라미터를 상태 변수로 보고, 관측(실제 심볼)과 예측(가중치 결합 결과) 사이의 잔차를 이용해 상태와 공분산을 동시에 업데이트한다. 이 과정에서 야코비안과 헤시안을 활용해 2차 정보를 반영함으로써, 학습률을 자동으로 조정하고 과적합을 방지한다. 실험에서는 EKF 기반 적응이 기존 1차 적응 대비 평균 5 %의 교차 엔트로피 감소를 달성했으며, 압축률도 0.2 %~0.5 % 정도 향상되었다. 4장에서는 PAQ8을 다양한 머신러닝 과제에 전이시킨 사례들을 제시한다. (1) 적응형 텍스트 예측: PAQ8을 실시간 언어 모델로 사용해 기존 n‑gram·RNN 기반 모델보다 낮은 퍼플렉시티를 기록했다. (2) 게임 플레이: 2048, 틱택토 등 상태‑행동 시퀀스를 압축하면서 정책을 추정하는 강화학습 에이전트를 구현했으며, 메모리 사용량이 기존 Q‑learning 대비 30 % 절감되었다. (3) 분류: “PAQclass”라는 압축 기반 거리 측정기를 설계해, 텍스트(20 Newsgroups)와 이미지(CIFAR‑10) 데이터셋에서 기존 ZIP·RAR 기반 압축 분류기보다 3~5 % 높은 정확도를 얻었다. (4) 손실 이미지 압축: 딥러닝으로 추출한 비지도 특징(오토인코더, VAE)과 PAQ8을 결합해, PSNR‑비트당 효율에서 JPEG·WebP와 경쟁 가능한 결과를 보였다. 5장에서는 논문의 한계와 향후 연구 방향을 논한다. 첫째, PAQ8 내부의 메모리 관리와 하드웨어 최적화 모듈은 여전히 블랙박스로 남아 있어, 이론적 분석이 어려운 점을 지적한다. 둘째, EKF 적용은 계산 복잡도를 크게 증가시켜, 실시간 압축·예측 시 CPU·메모리 요구량이 급증한다는 실용성 문제를 제기한다. 셋째, 실험이 주로 Calgary 코퍼스와 Hutter Prize 데이터에 국한돼 있어, 대규모 웹·멀티미디어 데이터에 대한 일반화 검증이 필요하다. 향후 연구는 EKF의 경량화, 컨텍스트 선택을 신경망 기반 자동화, 분산 환경에서의 PAQ8 구현 등을 통해 압축·학습 통합 프레임워크를 확장할 수 있을 것으로 기대한다. 결론에서는 PAQ8을 머신러닝 관점에서 체계적으로 해석하고, 2차 적응(EKF)과 다양한 응용을 통해 압축 효율과 학습 성능을 동시에 향상시킨 점을 강조한다. 이는 압축 기술이 단순 파일 크기 감소를 넘어, 시계열 예측, 강화학습, 분류 등 폭넓은 머신러닝 분야에 기여할 수 있음을 시사한다.