암호 프로토콜 보안을 위한 대수적 군 구조 분석

본 논문은 암호 프로토콜의 보안을 대수적 관점에서 재조명한다. 먼저 Dolev‑Yao(DY) 모델을 소개하고, 공개키 암호 연산자 E_i (암호화)와 D_i (복호화)를 알파벳으로 간주해 자유군 F(E) 을 구성한다. 이 자유군은 연산자 문자열에 대한 결합법칙과 역원 존재성을 만족하며, 각 연산자는 서로 역원 관계 E_i D_i = I 를 가진다. 논문은 두 당사자 간의 cascade 프로토콜을 문자열 α_i, β_j 의 순서열로 모델링하고, 교환되는 메시지는 연산자들의 곱 N_k 으로 표현한다. 보안 정의는 “어떤 문자열 λ 가 존재해 λ·N_k = ε”인 경우, 즉 공격자가 적절히 연산자를 조합해 메시지를 소거할 수 있으면 프로토콜이 불안전하다고 한다. 주요 정리인 Theorem 1은 두 정당 사용자와 공격자 s 가 참여하는 임의의 2‑party cascade 프로토콜에 대해, 불안전성은 반드시 다음 두 조건 중 하나를 만족하는 부분집합 T 가 존재함과 동치임을 보인다. (1) {α_1}∪T 가 DY 군의 부분군을 생성하거나, (2) T∪Γ_2∪Γ_3 가 비자명 부분군을 형성한다. 여기서 Γ_2, Γ_3 은 프로토콜 실행 중 사용되는 모든 α_i, β_j 의 집합이다. 증명은 λ·N_k = ε가 성립하면 해당 문자열들이 군 연산에 의해 항등원을 만들 수 있음을 보이며, 반대로 항등원이 존재하면 반드시 위와 같은 부분군이 형성된다는 것을 역으로 증명한다. 이론적 결과는 자유군 가정에 기반한다. 실제 암호 구현에서는 연산자 사이에 추가 관계(예: ab=ba 와 같은 교환법칙)가 존재할 수 있다. 이를 반영하기 위해 논문은 pseudo‑free 그룹 개념을 도입한다. 의사자유군은 실제 연산이 효율적이면서도 알려진 관계 외에는 자유군과 동일한 구조적 특성을 유지하도록 가정한다. 따라서 구체적 구현에서도 위 정리를 적용하려면, 해당 구현이 의사자유군을 만족하는지 검증해야 한다. 논문은 또한 대칭키(프라이빗키) 프로토콜에 대한 확장을 논의한다. 여기서는 암호·복호화 연산이 동일한 키에 의해 정의되므로, 연산자 집합이 다소 달라지지만 동일한 군적 구조를 형성한다. 활성 공격자 모델을 포함해, 공격자는 메시지를 가로채고, 자신을 정당 사용자로 가장하며, 필요 시 다른 사용자를 가장할 수 있다. 이러한 공격 능력 하에서도 위의 부분군 조건이 불안전성을 완전히 포착한다. 마지막으로, 프로토콜 보안 판정 문제 자체가 워드 문제와 동등하게 어려워 일반적인 경우 결정 불가능함을 언급한다. 이는 보안 판단이 근본적으로 대수적 복잡성을 내포하고 있음을 시사한다. 논문은 이러한 대수적 프레임워크가 형식적 보안 모델과 계산적 보안 모델을 연결하는 다리 역할을 할 수 있음을 강조하며, 향후 연구에서는 의사자유군의 구체적 구축 방법과 실용적인 판정 알고리즘 개발이 필요함을 제안한다.