물리 인식 산술 코딩을 통한 절대적 데이터 충실도 측정

본 논문은 현대 과학·공학에서 데이터 세트 간 분포 일관성을 검증하는 문제를 정보 이론적 관점에서 재정의한다. 기존 방법들은 주로 상대적 비교에 머물며, 테스트 통계, 커널, 임베딩 등 외부 선택에 의존한다. 저자들은 이러한 한계를 극복하기 위해 “물리‑인식 산술 코딩”이라는 프레임워크를 제안한다. 먼저, 물리적 현상을 반영한 확률 분포 q(x)를 정의한다. 여기서 x는 전자칼로미터의 히트 데이터와 입자 운동량 정보를 포함한 고차원 정수 배열이다. q(x)는 층·슬롯 별 점유 여부, 스트립 번호, ADC 값 등을 독립 혹은 |p| 조건화된 형태로 팩터화한다. 이러한 팩터화는 물리적 인과관계와 구조적 희소성을 그대로 보존하면서, 확률 모델을 이산 CDF 테이블 형태로 구현한다. 다음으로 산술 코딩(Arithmetic Coding, AC)을 사용해 각 이벤트 시퀀스를 무손실 압축한다. AC는 주어진 q(x)에 대해 −log₂ q(x)와 거의 동일한 비트 길이를 생성한다. 따라서 전체 데이터셋에 대한 평균 코드 길이는 H(p)+D_KL(p‖q) 로 수렴한다. 여기서 H(p)는 실제 데이터의 엔트로피, D_KL은 모델과 데이터 간 KL 발산이다. 즉, “초과 코드 길이”(excess bits)는 물리 모델이 설명하지 못하는 정보량, 즉 데이터 충실도 손실을 직접 측정한다. 실험은 CLAS12 전자칼로미터 시뮬레이션 데이터를 사용한다. 데이터는 9개의 레이어(PCAL‑U/V/W, ECIN‑U/V/W, ECOUT‑U/V/W)와 입자 운동량을 포함하며, 10⁶ 이벤트 규모이다. 데이터는 세 번 무작위 분할되어 (A₁,B₁), (A₂,B₂), (A₃,B₃) 로 구성된다. A₃는 q(x) 학습에 사용되고, B₂와 C(인위적 교정 적용) 는 동일한 q(x) 로 압축한다. 주요 결과는 다음과 같다. 1. **압축 효율**: 물리‑인식 AC는 gzip 대비 평균 12 %~18 % 높은 압축 비율을 달성한다. 이는 물리적 상관관계를 활용한 모델이 일반 목적 압축보다 더 많은 중복을 제거함을 의미한다. 2. **충실도 측정**: ADC 스케일 변형, 슬롯 누락, 히트 분포 왜곡 등 다양한 교정 오류를 인위적으로 적용한 C에 대해, 평균 코드 길이 차이는 5 ~ 30 비트 수준으로 관측되었다. 이는 KL 발산의 추정치와 일치하며, 오류 크기에 비례한다. 3. **가산성**: 각 레이어·서브시스템 별 코드 길이를 별도로 계산하고 합산함으로써, 어느 부분에서 불일치가 발생했는지 정량적으로 파악할 수 있다. 예를 들어, ECIN 레이어에서만 오류가 발생하면 해당 레이어의 초과 비트가 독립적으로 증가한다. 4. **스케일링**: 샘플 수 N이 증가함에 따라 평균 코드 길이는 식 (1) 에서 제시된 H(p)+D_KL(p‖q) 로 수렴한다. 이는 대규모 데이터에서도 안정적인 충실도 지표를 제공한다는 점에서 실용적이다. 이와 같은 특성은 기존 통계 검정이 “표본 수가 충분히 크면 무조건 귀무가설을 기각한다”는 한계를 넘어, 실제 물리적 차이를 비트 단위로 정량화한다는 점에서 의미가 크다. 또한, 코드 길이는 절대적인 물리 단위(비트)이며, “0 초과 비트”는 완전한 물리 모델과 데이터 일치를 의미한다는 명확한 기준을 제공한다. 논문의 한계는 물리‑인식 확률 모델 q(x)의 구축 비용이다. 모델이 지나치게 복잡하면 추정 오차와 구현 오버헤드가 초과 코드 길이를 부정확하게 만들 수 있다. 따라서 모델 설계 시 엔트로피 감소 효과와 추정 불확실성 사이의 트레이드오프를 고려해야 한다. 향후 연구에서는 딥러닝 기반 조건부 확률 모델을 효율적으로 학습하고, 실시간 스트리밍 데이터에 적용하는 방안을 탐색할 예정이다. 결론적으로, 산술 코딩을 물리‑인식 확률 모델과 결합함으로써 데이터 충실도를 절대적이고 해석 가능한 비트 단위 지표로 전환할 수 있음을 실험적으로 입증하였다. 이는 고차원·다중모달 과학 데이터의 검증, 교정, 그리고 모델 개발에 새로운 도구로 활용될 가능성을 제시한다.