LDGM 기반 고성능 MSE 양자화 설계와 최적화

본 논문은 평균제곱오차(MSE) 양자화에서 이론적 한계인 1.5329 dB shaping gain에 근접하는 새로운 설계 방안을 제시한다. 기본 아이디어는 이진 저밀도 생성 행렬(LDGM) 코드를 양자화 코드북의 골격으로 사용하고, 이를 m‑ary( m=2^K ) 구조로 확장해 실수값을 양자화한다. 양자화 알고리즘은 belief propagation(BP)과 decimation(변수 고정) 절차를 결합한 형태이며, BP는 그래프 기반의 메시지 전달을 통해 각 비트에 대한 사후 확률을 추정한다. 수렴을 가속화하고 지역 최적에 빠지는 것을 방지하기 위해, 일정 비율로 가장 확신이 높은 비트를 고정(decimate)한다. 알고리즘의 이론적 성능을 평가하기 위해 저자는 true typical decimator(TTD)를 기준 모델로 설정한다. TTD는 BP가 제공하는 extrinsic information이 충분히 정확할 때만 정상적으로 동작한다는 가정하에, 고정점의 단조성(monotonicity) 조건을 도출한다. 이 조건은 BP의 EXIT 곡선이 특정 구간에서 단조하게 감소함을 의미하며, 이를 만족하면 BP가 수렴하면서 정확한 추정을 제공한다. 이러한 단조성 조건은 density evolution(DE) 분석을 통해 정량화할 수 있으며, 코드의 degree distribution을 조정함으로써 만족하도록 설계한다. 실제 구현에서는 반복 횟수 L이 유한하기 때문에 “bad guess”(잘못된 고정) 현상이 발생한다. 이를 해결하기 위해 복구 알고리즘을 도입해 잘못 고정된 변수들을 재설정하고 BP를 재개한다. 복구 과정에서 발생하는 손실은 EBP(extended BP) 곡선과 실제 추정 경로 사이의 면적 차이 ΔA_i 로 표현되며, 이 값을 최소화하도록 decimation 속도와 degree distribution을 동시에 최적화한다. 논문은 먼저 m‑ary 구조의 최소 shaping loss를 랜덤 코딩 분석을 통해 이론적으로 한계값을 도출한다. 이어서 이진 LDGM 코드에 대한 BP‑decimation 알고리즘을 상세히 설명하고, BEQ(binary erasure quantization) 문제를 통해 typical decimator(TD)의 정확성을 검증한다. TD가 제공하는 extrinsic information이 충분히 정확하면, BEQ 문제를 완벽히 해결할 수 있음을 보이며, 이는 MSE 양자화 문제에도 동일하게 적용된다. 다음으로, DE와 수정된 EXIT 곡선을 이용해 실제 MSE 양자화에 대한 단조성 조건을 확인하고, 이를 만족하도록 degree distribution을 최적화한다. 최적화 과정에서는 코드율 R, m값, 반복 횟수 L 등을 변수로 삼아 다중 목표 최적화를 수행한다. 유한 반복 횟수에 대한 손실 모델링과 복구 알고리즘 설계 후, 시뮬레이션을 통해 다양한 설정에서의 성능을 평가한다. 블록 길이 n≈10⁴, 반복 횟수 99, 1022, 8356에 대해 각각 shaping loss 0.2676 dB, 0.0741 dB, 0.0423 dB를 달성했으며, 이는 이론적 한계와 0.0423 dB 차이만을 보인다. 또한, 동일 복잡도에서 기존 trellis‑coded quantization(TCQ)보다 크게 우수한 성능을 보이며, 복잡도‑성능 트레이드오프 분석을 통해 LDGM 기반 양자화기가 TCQ 대비 동일 shaping gain을 훨씬 낮은 연산량과 메모리 사용량으로 구현 가능함을 입증한다. 결론적으로, 본 연구는 LDGM 코드와 BP‑decimation 프레임워크를 MSE 양자화에 성공적으로 적용하고, density evolution과 EXIT 분석을 통한 코드 설계 방법론을 제시함으로써, 기존 방법보다 근접한 shaping gain과 실용적인 복잡도를 동시에 달성한 새로운 양자화 기술을 제공한다.