통신 인식 다중 에이전트 강화학습 기반 분산 UAV 배치 제어

본 논문은 제한된 시야와 거리 기반 통신 제약이 존재하는 실제 환경에서 UAV(무인항공기) 군집이 효율적으로 배치·중계 임무를 수행하도록 설계된 새로운 다중 에이전트 강화학습(MARL) 프레임워크를 제시한다. 연구 배경으로는 재난 현장이나 전장 등에서 지상 인프라가 손상되거나 접근이 어려운 상황에서 UAV가 빠르게 배치되어 통신 중계 및 감시 역할을 수행해야 하는 필요성이 있다. 이러한 상황에서는 각 UAV가 전역 정보를 실시간으로 획득하기 어렵고, 서로 간의 통신도 거리 제한에 따라 간헐적으로만 가능하다는 현실적인 제약이 있다. 기존의 중앙집중형 최적화(MILP 등)는 계산량이 방대하고 실시간 적용이 불가능하며, 완전 관측·통신을 전제로 하는 MARL 기법도 실제 적용에 한계가 있다. 이에 저자들은 (1) 에이전트‑엔터티 그래프 모델링, (2) 이중 어텐션 기반 임베딩, (3) 중앙 집중 학습·분산 실행(CTDE) 구조를 결합한 프레임워크를 설계하였다. 그래프 G=(V,E)에서 정점 V는 UAV와 지상 노드(엔터티)를 포함하고, 에지 E는 감지 관계(N_s(i))와 통신 관계(N_c(i))를 각각 나타낸다. 각 UAV i는 자신의 상태 S_i(위치·속도 등)와 감지 반경 r_s 안에 있는 엔터티들의 특징 x_{i,l}을 관측한다. 먼저, 로컬 상태를 f_a(S_i) 로 변환해 h^a_i를 얻고, 엔터티 특징을 f_e(x_{i,l}) 로 변환해 e_{i,l}을 만든다. 이후 스케일드 닷‑프로덕트 어텐션을 사용해 h^a_i 를 쿼리, e_{i,l} 를 키·밸류로 삼아 가중합 α_{i,l}·v_{i,l} 을 계산, 이를 Agg_i 로 요약한다. 최종 로컬 임베딩 h^{(0)}_i =