통계역학으로 바라본 무작위 최적화 문제와 k‑SAT 위상전이

본 리뷰는 통계역학과 무작위 최적화 문제 사이의 깊은 연관성을 체계적으로 정리한다. 서론에서는 20세기 초반부터 물리학자들이 불순물이나 무작위 결함을 가진 시스템을 연구하면서 최적화 문제와 연결되었음을 언급하고, 초기에는 물리학적 평균 특성이 컴퓨터 과학의 개별 인스턴스 해결에 직접적 도움이 되지 않아 교류가 미미했음을 지적한다. 1990년대에 들어 인공지능 연구자들이 무작위 제약 만족 문제에서 급격한 행동 변화를 관찰하면서, 특히 무작위 k‑SAT에서 제약당 변수 비율 α가 특정 임계값을 넘을 때 해가 거의 존재하지 않으며, 알고리즘 성능이 급격히 저하되는 현상이 발견되었다. 이는 물리학의 위상전이와 직접적인 유사성을 보여, 두 분야의 교차 연구가 활발히 진행되는 계기가 되었다. 2장에서는 기본적인 통계역학 개념을 소개한다. 연속 퍼셉트론 모델을 통해 ‘반쪽공간(half‑space)’에 모든 점이 포함되는 확률 P(N,M)을 정확히 계산하고, α=M/N이 2를 초과하면 P가 0으로 수렴함을 보인다. 여기서 유한 크기 스케일링(FSS) 관계 P(N,M≈Nα_s(1+λN^{-1/ν}))≈F(λ)와 스케일링 지수 ν=2가 도출된다. 이러한 분석은 무작위 그래프의 거대 컴포넌트 형성 등 다른 확률적 구조에서도 동일하게 적용된다. 3장에서는 무작위 제약 만족 문제(rCSP)의 정의와 k‑SAT, k‑XOR‑SAT의 차이를 설명한다. 변수는 이진 스핀(±1)으로 표현하고, 절은 k개의 리터럴을 OR 혹은 XOR 연산으로 결합한다. k‑XOR‑SAT은 선형 방정식 시스템과 동등하여 P‑시간에 해결 가능하지만, k‑SAT은 NP‑완전이다. 무작위 인스턴스는 절을 균등하게 선택하고 리터럴 부호를 무작위로 부여함으로써 정의된다. 열역학적 극한(N→∞)에서 α가 고정된 경우, 만족 가능성은 ‘만족 단계(satisfiable phase)’와 ‘불만족 단계(unsatisfiable phase)’로 구분된다. 현재까지 정확한 임계값 α_s의 존재는 완전 증명되지 않았지만, Friedgut의 비균일 급격 임계값 정리와 상·하한 결과가 존재한다. 특히, α_s는 k가 커짐에 따라 2^k·ln2에 근접한다는 점이 알려져 있다. 4·5장에서는 알고리즘적 관점을 다룬다. 로컬 서치 알고리즘은 에너지 지형에서 낮은 에너지 골짜기를 탐색하지만, ‘글래시(Glassy) 단계’에서는 다수의 메타스테이블 상태와 높은 장벽으로 인해 수렴이 어려워진다. 백트래킹 기반의 완전 탐색은 해 공간을 체계적으로 탐색하지만, 평균 복잡도는 α가 임계값에 접근할수록 급격히 증가한다. 메시지 전달 기법인 Belief Propagation(BP)와 그 확장인 Survey Propagation(SP)은 복제 대칭 파괴(replica symmetry breaking) 구조를 근사화한다. SP는 각 변수에 대해 ‘편향(bias)’을 추정하고, 가장 강한 편향을 가진 변수를 고정(decimation)하는 과정을 반복한다. 이 방법은 실제 무작위 k‑SAT 인스턴스에서 임계점 근처까지 성공률이 높으며, 물리학에서의 클러스터링 전이와 직접 연결된다. 마지막으로 6장에서는 현재 연구의 한계와 향후 과제를 제시한다. 엄밀한 수학적 증명과 물리학적 직관 사이의 격차, 복제 대칭 파괴 단계의 정확한 해석, 그리고 실제 산업 문제에 적용 가능한 알고리즘 설계가 주요 과제로 남아 있다. 전체적으로 이 리뷰는 통계역학적 도구가 무작위 최적화 문제의 구조적 이해와 알고리즘 개발에 어떻게 기여할 수 있는지를 포괄적으로 정리하고 있다.