채널 단축 등화기의 최적 설계를 위한 사후 등가성 새로운 시각

본 논문은 인터심볼 간섭(ISI) 채널에서 최적 검출 성능을 달성하기 위한 채널 단축(equalization) 설계 문제를 새롭게 접근한다. 전통적으로는 등화기와 부분 응답(Partial Response, PR) 타깃 필터를 설계해 등화된 채널 응답을 짧은 FIR 형태에 가깝게 만들고, 그 결과를 Viterbi 알고리즘 등으로 검출한다. 그러나 이러한 방법은 MMSE 최소화라는 기준이 실제 MAP 검출 성능과 직접 연결되지 않는다는 한계가 있다. 저자들은 “사후 등가성”(Aposteriori Equivalence, APE)이라는 개념을 도입한다. APE는 등화된 채널과 가상의 타깃 채널이 동일한 사후 확률 분포, 즉 동일한 APP(후방 확률)를 제공한다는 의미이다. 수학적으로는 \(\tilde g \star f = \alpha \tilde h\) (α>0)라는 관계가 성립하면 두 채널이 APE를 만족한다는 정리를 제시한다. 이 조건을 만족하는 IIR 등화기와 타깃 필터의 조합이 무한히 존재함을 증명하고, 특히 입력 심볼이 동일 에너지(예: q‑PSK, BPSK)일 경우 단조(mon​ic) 제약(g₀=1)을 부여한 MMSE 등화기가 이러한 최적 설계에 속함을 보인다. 즉, 기존에 MMSE 등화기가 “노이즈 색상화”와 신호 의존 오류를 야기한다는 인식과 달리, 적절한 타깃과 결합하면 MAP 검출에 최적화된 IIR 설계가 가능함을 의미한다. 실제 시스템에서는 IIR 타깃을 구현하기 어려우므로, 논문은 FIR 타깃 설계에 대한 확장도 제공한다. 임의의 FIR 타깃에 대해 시퀀스 검출 오류 확률을 근사적으로 계산하는 식을 도출하고, 이를 최소화하도록 타깃과 등화기를 공동 설계한다. 이 과정에서 FIR 근사에 따른 성능 손실(패널티)을 정량화하여, 설계자가 허용 가능한 복잡도와 성능 사이의 트레이드오프를 명확히 판단할 수 있게 한다. 또한, 제안된 설계 방법을 실제 ISI 채널(바이너리 및 비바이너리 입력) 시뮬레이션에 적용해, 전통적인 ZFE, 전통 MMSE 설계와 비교하였다. 결과는 APE를 만족하는 설계가 Viterbi 기반 MAP 검출에서 현저히 낮은 비트 오류율(BER)과 심볼 오류율(SER)을 달성함을 보여준다. 특히, 단조 MMSE 설계는 동일 에너지 입력에 대해 가장 좋은 성능을 보이며, FIR 근사 설계도 적절한 타깃 길이 선택 시 거의 동일한 성능을 유지한다. 결론적으로, 본 연구는 채널 단축 설계 문제를 “확률 분포 일치”라는 근본적인 목표로 재정의하고, 이를 통해 IIR 및 FIR 설계 모두에서 MAP 검출에 최적화된 등화‑타깃 쌍을 체계적으로 찾을 수 있는 새로운 프레임워크를 제공한다. 이는 차후 고속 통신 시스템, 특히 저지연·저복잡도 검출이 요구되는 5G/6G, 광통신, 데이터 저장 시스템 등에 직접적인 응용 가능성을 제시한다.