마이크로그리드 네트워크의 공급과 수요 관리 통합 의사결정 프레임워크

본 논문은 마이크로그리드 네트워크에서 발생하는 공급‑측면 에너지 공유와 수요‑측면 가변 부하(ADL) 스케줄링 문제를 하나의 통합 의사결정 프레임워크로 묶어 해결하고자 한다. 서론에서는 마이크로그리드가 분산형 재생에너지와 저장 장치를 갖추고, 중앙 그리드와 상호 연결된 구조를 갖지만, 이러한 이기종 자원을 효율적으로 관리하기 위해 스마트 제어가 필요함을 강조한다. 기존 연구들은 공급‑또는 수요‑문제 중 하나에 초점을 맞추고, 대부분 시스템 모델이 사전에 알려졌다는 가정 하에 최적화를 수행했으며, 확률적 요소를 충분히 반영하지 못했다는 한계를 지적한다. 연구는 두 가지 주요 문제를 정의한다. 첫 번째는 공급‑측면 관리(SSM)로, 마이크로그리드 간 잉여 전력을 공유하고, 부족 시 전력을 구매하는 전략을 설계한다. 여기서는 재생에너지 생산 r_i_t, 배터리 잔량 b_i_t, 비‑ADL 수요 d_i_t, 그리고 메인 그리드 가격 p_t를 실시간으로 관찰한다. 두 번째는 수요‑측면 관리(DSM)로, 스마트 가전의 가변 부하를 시간 창 내에서 유연하게 배치한다. ADL 작업은 요구 전력 a_ij와 남은 스케줄링 기한 f_ij으로 표현되며, 새로운 작업이 매 시간 단계마다 추가된다. 두 문제를 하나의 마르코프 의사결정 과정(MDP)으로 모델링한다. 상태 s_i_t는 (시간 t, 순수요 nd_i_t, 가격 p_t, ADL 작업 집합 J_i_t) 로 구성된다. 여기서 순수요 nd_i_t = r_i_t + b_i_t – d_i_t 로 정의되며, 양수이면 잉여, 음수이면 부족을 의미한다. 행동은 두 부분으로 나뉜다. u_i_t는 전력 구매(음수)·판매(양수)를 나타내며, 배터리와 이웃 마이크로그리드 간 거래를 포함한다. v_i_t는 ADL 작업 스케줄링을 의미하며, 항상 음수값으로 전력 요구량을 나타낸다. 행동의 허용 범위는 배터리 용량 B_i와 메인 그리드 구매 한계 M을 고려한 선형 제약식으로 제한된다. 보상 함수 g_i는 판매 수익과 미충족 수요에 대한 페널티를 결합한다. 구체적으로, 전력 판매 시 p_t·max(u_i_t,0) 의 수익을 얻고, 공급‑수요 불균형 |nd_i_t – u_i_t – v_i_t| 에 대해 가중치 α 를 곱한 페널티를 부과한다. 이를 통해 이익을 극대화하면서도 전력 균형을 유지하도록 유도한다. MDP 정의 후, 저자는 Q‑러닝 알고리즘을 적용한다. Q‑학습은 상태‑행동 가치 Q(s,u,v)를 반복적으로 업데이트하며, ε‑greedy 정책으로 탐험과 활용을 조절한다. 학습률 α_t와 할인율 γ는 일반적인 감소 스케줄을 사용한다. 알고리즘 흐름은 다음과 같다: (1) 현재 상태 s_t 관찰, (2) ε‑greedy 로 행동 (u_t,v_t) 선택, (3) 환경으로부터 다음 상태 s_{t+1}와 보상 g_t 획득, (4) Q 값 업데이트, (5) t←t+1 반복. 시뮬레이션 설정은 3개의 마이크로그리드(MG‑1, MG‑2, MG‑3)와 2개의 시간 구간을 사용한다. 각 마이크로그리드의 재생에너지 생산과 수요는 표 Ⅰ에 제시된 예시와 같이 확률적으로 변한다. 전력 가격은 시간 구간마다 다르게 설정되며, 사전에 알려지지 않는다. 비교 대상으로는 (i) 전력 공유가 전혀 없는 시나리오, (ii) 전력 공유만 허용하고 ADL 스케줄링을 무시한 시나리오, (iii) 기존 게임 이론 기반 거래 모델 등이 있다. 실험 결과, 제안된 통합 MDP‑Q‑러닝 정책은 평균 이익을 기존 방법 대비 약 15% 향상시켰으며, 전력 거래량도 증가했다. 특히, 가격이 높은 구간에 잉여 전력을 판매하고, 가격이 낮은 구간에 구매해 배터리에 저장하는 전략이 자연스럽게 학습되었다. 또한, ADL 작업은 남은 기한을 고려해 적절히 연기하거나 조기에 수행함으로써 페널티를 최소화했다. 배터리 활용도는 70% 이상 유지되었으며, 전력 손실(전송·배전 손실)은 이웃 마이크로그리드 간 거래를 통해 감소하였다. 논문의 한계점으로는 (1) 실험이 소규모 시뮬레이션에 국한되어 있어 대규모 네트워크에 대한 확장성 검증이 필요하고, (2) 보상 함수가 선형 형태라 실제 전력 시장의 복합 가격 메커니즘을 충분히 반영하지 못한다는 점을 들었다. 향후 연구에서는 다중 에이전트 협력 학습, 비선형 보상 설계, 실제 현장 데이터 기반 검증 등을 통해 프레임워크를 강화할 계획이다. 결론적으로, 이 논문은 공급‑수요 관리 문제를 하나의 MDP로 통합하고, 모델‑프리 강화학습을 적용함으로써 마이크로그리드 네트워크의 운영 효율성을 크게 향상시킬 수 있음을 입증한다. 이는 스마트 그리드와 마이크로그리드의 미래 운영 전략에 중요한 시사점을 제공한다.