다중 사용자 다운링크에서 3상태 마코프 채널 기반 기회적 스케줄링

본 논문은 다중 사용자 셀룰러 다운링크에서 채널 상태 정보를 완전하게 알 수 없는 상황에서, ARQ 피드백을 활용해 효율적인 사용자 스케줄링을 수행하는 문제를 다룬다. 기존 연구에서는 채널을 2상태(좋음/나쁨) 마코프 체인으로 모델링했으며, 그리디 정책이 최적임이 증명되었다. 저자들은 이를 한 단계 확장하여 각 사용자의 채널을 3상태(낮음, 중간, 높음) 마코프 체인으로 모델링하고, 부분 관측 마코프 의사결정 과정(POMDP)으로 수식화한다. **1. 시스템 모델** - 두 사용자를 대상으로 TDMA 방식으로 매 슬롯 하나의 사용자를 선택한다. - 각 사용자의 채널은 독립적인 3×3 전이 행렬 P로 정의되며, 시간에 대해 양의 상관성을 갖는다(p_ii ≥ p_ji, i≠j). - 상태 1은 전송 불가능, 상태 2는 중간 품질, 상태 3은 최상 품질이며 보상은 α₁=0, α₂∈(0,1), α₃=1로 설정한다. - 채널은 steady‑state 확률벡터 p_ss를 갖으며, 이는 전이 행렬이 정규(stochastic)이고 정규 행렬임을 이용해 존재함을 증명한다. **2. 관측 및 belief 업데이트** - 스케줄러는 매 슬롯 선택된 사용자에게서 ARQ 피드백 F∈{1,2,3}을 받는다. 피드백은 오류 없이 전송된다고 가정한다. - 피드백을 통해 해당 사용자의 belief vector π_k,i (각 상태에 대한 사후 확률)를 업데이트한다. 구체적으로, 최근에 관측된 상태 j에 대해 π_k,i = p_j·P^{l} (l은 마지막 관측 이후 경과 슬롯 수). - 선택되지 않은 사용자는 단순히 π_{k-1,i}=π_{k,i}·P 로 전이한다. **3. 보상 및 목표** - 현재 슬롯에서 선택된 사용자의 기대 보상은 π_k,a·α 로 계산된다. - 장기 평균 보상 η_sum = lim_{m→∞} V_m(p_ss,p_ss,{A_k})/m 를 최대화하는 정책 {A_k} 를 찾는 것이 목표이다. **4. 그리디 정책 정의 및 특성** - 그리디 정책 bA_k는 현재 belief와 보상 벡터 α의 내적을 최대화하는 사용자를 선택한다. 즉, a_k = argmax_i π_k,i·α. - 레마 2–4를 통해 상태별(1,2,3) 관측 후 경과 시간 k에 따른 기대 보상의 monotonic 특성을 분석한다. - 상태 3에서 관측 후 k가 증가하면 기대 보상은 감소하고, 결국 p_ss·α 로 수렴한다. - 상태 1에서는 기대 보상이 증가하여 p_ss·α 로 수렴한다. - 상태 2는 그 사이값을 유지한다. **5. 시스템 유형 구분** - 전이 행렬과 보상 파라미터에 따라 두 유형으로 구분한다. - **Type I**: p_2·α ≥ p_ss·α (중간 상태의 즉시 기대 보상이 steady‑state 기대 보상보다 크다). - **Type II**: p_2·α < p_ss·α. **6. 그리디 정책 구현 구조** - **Type I**: 1) 이전 슬롯에서 F₃ 또는 F₂를 받았다면 현재 슬롯에서도 동일 사용자를 유지한다. 2) F₁을 받았다면 다른 사용자를 스케줄한다. 이는 상태 3이 가장 큰 보상을 제공하고, 양의 상관성으로 인해 최근에 좋은 상태를 관측한 사용자를 계속 서비스하는 것이 최적임을 의미한다. - **Type II**: 1) F₃이면 현재 사용자를 유지한다. 2) F₁이면 다른 사용자를 선택한다. 3) F₂이면 현재 사용자의 기대 보상 p_2·α와 대기 사용자의 belief·α를 비교한다. p_2·α ≥ π_u·α이면 현재 사용자를 유지하고, 그렇지 않으면 교체한다. 이는 중간 상태의 기대 보상이 steady‑state보다 낮아, 최근에 중간 상태를 관측한 사용자를 바로 재스케줄링하는 것이 비효율적일 수 있음을 반영한다. **7. 성능 분석** - 저자는 그리디 정책을 라운드‑로빈 형태로 구현할 수 있음을 보이며, 이를 통해 시스템 전체의 평균 보상을 구한다. - **상한**: genie‑aided 시스템(채널 상태를 완전히 알 때)의 평균 보상으로 정의한다. - **하한**: 그리디 정책 자체의 평균 보상으로 정의한다. 두 값 사이의 갭을 수식적으로 제시한다. **8. 최적성 조건** - 전이 행렬이 특정 구조(예: p_33 ≫ p_23, p_11 ≫ p_21 등)와 보상 파라미터가 위의 Type I/II 구분 조건을 만족할 때, 그리디 정책이 전체 최적 정책과 동일함을 정리 6으로 증명한다. 이는 2상태 모델에서 알려진 결과를 3상태 모델로 일반화한 것이다. **9. 결론** - 3상태 마코프 채널을 고려한 다중 사용자 스케줄링에서, ARQ 피드백만으로도 충분히 정확한 belief를 구축할 수 있으며, 그리디 정책이 간단하면서도 특정 조건 하에 최적임을 확인하였다. - 제시된 라운드‑로빈 구현은 실제 시스템에 적용하기 용이하고, 성능 상한·하한 분석은 설계자가 기대 성능을 사전에 평가하는 데 유용하다.