강화학습을 활용한 페이지랭크 분산 계산 방법

본 논문은 강화학습( RL )의 확률적 근사 원리를 비음수 행렬 연산, 특히 페이지랭크(PageRank) 고유벡터 계산에 적용하는 새로운 알고리즘을 제안한다. 페이지랭크는 웹 페이지를 노드로 하는 유향 그래프에서 ‘무작위 서퍼’가 이동하는 마르코프 체인의 전이 행렬 P 에 대한 좌측 Perron‑Frobenius 고유벡터 π 를 구하는 문제이며, 기존에는 전력법(power method), 가우스‑시델법, 혹은 마르코프 체인 몬테카를로 시뮬레이션 등이 사용되어 왔다. 그러나 이러한 방법들은 전이 확률을 명시적으로 필요로 하거나, 대규모 행렬‑벡터 곱에 높은 연산 비용이 소요된다. 저자는 π 를 πᵀ = 1ᵀ + c Pᵀ πᵀ 라는 선형 방정식으로 변형하고, 이를 직접 풀기보다는 샘플링 기반 확률적 업데이트로 근사한다. 구체적으로, 매 반복마다 (Xₙ, Yₙ) 쌍을 생성한다. Xₙ은 1 … N 중 균등하게 선택하고, Yₙ은 조건부 확률 p(i,j) = P_{ij} 에 따라 독립적으로 샘플링한다. 업데이트 식(1)은 zₙ₊₁(i) = zₙ(i) + a(n)