확률적 셰이핑과 블라인드 위상 탐색 알고리즘의 상호작용

본 논문은 광통신 수신기에서 확률적 셰이핑(Probabilistic Shaping, PS)이 위상 복구 알고리즘인 블라인드 위상 탐색(Blind Phase Search, BPS)에 미치는 영향을 체계적으로 조사한다. 먼저 PS의 기본 원리를 소개한다. PS는 심볼마다 사전 확률 P_m = e^{-λ|s_m|^2}/∑_k e^{-λ|s_k|^2} 로 정의되며, λ가 0이면 균일 분포, λ>0이면 큰 진폭 심볼의 발생 빈도가 감소한다. 이는 변조 형식(M‑QAM)과 SNR에 따라 최적 λ가 달라지며, 논문에서는 64‑QAM과 256‑QAM을 중심으로 λ 범위(0~0.05, 0~0.015)를 제시한다. 다음으로 위상 복구 알고리즘을 설명한다. 전송된 심볼 s_i는 복소수 가우시안 잡음 n'_i와 위상 회전 e^{jθ_n}을 받아 r_i = s_i e^{jθ_n} + n'_i 로 수신된다. 위상은 시간에 따라 천천히 변하므로 N개의 연속 심볼을 이용해 위상 추정 θ̂_n을 수행한다. 비용 함수 J(θ_r)=∑_{i=1}^N |e^{-jθ_r} r_i - \hat{s}_i|^2 를 최소화하는 것이 BPS의 핵심이다. 여기서 \hat{s}_i는 결정된 심볼이며, 오류가 있으면 e_i = s_i - \hat{s}_i ≠ 0이 된다. 이론적 상한을 제공하기 위해 저자들은 완벽한 결정을 가정한 감독 위상 탐색(Supervised Phase Search, SPS)을 도입한다. SPS는 e_i=0이라고 가정하고, MSE를 식 (7)로 근사한다. N=1일 때 MSE는 식 (8)으로, PS에 의해 |s_i|의 2차·4차 모멘트가 변하면서 λ_max에서 최대가 된다. N이 충분히 크면( N_L ) 중심극한정리에 의해 MSE는 σ_n^2/(N_L·SNR) 로 단순화되어 PS의 영향이 거의 사라진다(식 12). BPS는 실제 구현에서 결정을 사용하기 때문에 e_i가 존재하고, 이로 인해 MSE를 해석적으로 구하기 어려워 시뮬레이션으로 평가한다. 시뮬레이션 설정은 2^19 심볼, 고정 위상 회전 π/6, 900개의 테스트 위상, 다양한 SNR(12~35 dB) 및 윈도우 크기(N=1,30,100,500)이다. 시뮬레이션 결과는 다음과 같다. 1. **SPS 결과**: N=1에서는 PS가 MSE를 증가시켜 λ_max에서 최대값을 보인다. N=100에서는 MSE가 거의 PS에 무관해지며, 식 (12)와 잘 일치한다. 이는 윈도우를 충분히 크게 잡으면 PS에 의한 통계 변동이 평균화된다는 것을 확인한다. 2. **BPS 결과**: N이 작을수록(특히 N=30) PS가 MSE를 크게 악화시킨다. 이는 결정 오류가 위상 추정에 연쇄적으로 영향을 미치기 때문이다. λ가 최적값(64‑QAM에서는 ≈0.05, 256‑QAM에서는 ≈0.015) 근처일 때 MSE가 최고가 되며, 이는 SPS에서 λ_max와 일치한다. 반면 높은 SNR 구간(22 dB, 27 dB)에서는 λ 증가가 오히려 MSE를 감소시켜 PS가 BPS 성능을 개선할 수 있음을 보여준다. 3. **윈도우 크기의 역할**: N을 30→100으로 늘리면 MSE가 10배 이상 감소하지만, λ가 최적값에 가까울 때는 감소율이 크게 줄어든다. 즉, PS가 강하게 적용된 상황에서는 윈도우 확대만으로는 충분히 성능을 회복하기 어렵다. 4. **MI 영향**: 위상 복구 후의 상호 정보량(MI)을 평가했을 때, BPS가 큰 MSE를 보이는 경우 MI가 현저히 감소한다. 반대로, 높은 SNR에서 PS가 위상 복구를 돕는 경우 MI가 증가한다. 이는 시스템 설계 시 위상 복구와 PS의 조합을 최적화해야 함을 의미한다. 종합하면, PS는 위상 복구 알고리즘에 두 가지 상반된 효과를 가진다. 작은 윈도우와 낮은 SNR에서는 PS가 큰 진폭 심볼을 억제함으로써 위상 변이를 감지하기 어려워지고, 동시에 결정 오류가 위상 추정에 전파돼 성능을 크게 저하시킨다. 반면, 큰 윈도우와 높은 SNR에서는 평균 전력 감소가 잡음 대비 신호를 강화해 위상 복구를 오히려 돕는다. 특히, 최적 λ가 BPS의 최악 상황과 겹치는 경우가 많아, 실제 구현 시에는 윈도우 크기 조절, 파일럿 기반 보조 위상 복구, 혹은 PS 파라미터를 시스템 요구사항에 맞게 미세 조정하는 것이 필요하다.