분산형 지역 에너지 시장을 위한 다중 에이전트 강화학습 시뮬레이션 프레임워크

본 논문은 분산형 지역 에너지 시장(LEM)의 복잡한 상호작용을 연구하기 위한 통합 시뮬레이션 프레임워크인 MARLEM을 제안한다. 서론에서는 전통적인 중앙집중식 전력 시스템이 DER(분산형 에너지 자원)의 급증으로 인해 확장성·효율성·프라이버시 문제에 직면하고 있음을 지적한다. 이러한 배경에서 LEM은 P2P 거래와 유연성 서비스를 제공함으로써 전력망 안정성과 경제성을 동시에 추구한다는 기대가 있다. 그러나 LEM 설계는 (1) 수많은 자율적 에이전트 간의 비협조적 행동, (2) 물리적 전력망 제약, (3) 프라이버시와 탈중앙화를 보장해야 하는 세 가지 트릴레마를 안고 있다. 기존 시뮬레이션 도구들은 전력망 모델링, 시장 메커니즘, 혹은 MARL 구현 중 하나만을 집중적으로 지원해 왔으며, 이들 간의 통합이 부족해 연구 진행에 큰 장벽이 되고 있었다. 이에 저자들은 다음과 같은 핵심 공백을 확인한다. 첫째, 물리적 전력망과 시장 거래를 동시에 고려하는 통합 환경이 부재함. 둘째, 대부분의 도구가 CTDE(중앙집중식 훈련·분산 실행) 패러다임에 의존해 진정한 탈중앙화 학습을 지원하지 못함. 셋째, 암묵적 협력(에이전트 간 직접 통신 없이 공유 환경 신호에 의해 협력) 연구를 위한 관측·보상 설계가 체계적으로 제공되지 않음. MARLEM은 이러한 공백을 메우기 위해 설계되었다. 기술적 기여는 다섯 가지로 요약된다. (1) Dec‑POMDP 기반의 통합 기술‑경제 환경을 Gymnasium 표준에 맞춰 구현, 시장 모듈과 전력망 모듈을 플러그인 형태로 교체 가능하게 함. (2) 완전 탈중앙화 학습(DTDE)을 전제로, 에이전트가 로컬 관측과 시스템 KPI(전압 편차, 라인 손실, 사회적 비용 등)만을 이용해 정책을 업데이트하도록 설계. (3) KPI‑증강 관측·보상 구조를 도입해 에이전트가 시스템 전체 이득을 고려하도록 유도, 이를 통해 암묵적 협력 메커니즘을 실현. (4) 모듈식 시장 청산(경매, 매칭, 가격 결정)과 물리적 제약을 갖는 배터리 모델, 실제 배전망 토폴로지를 포함한 전력 흐름 시뮬레이션을 제공. (5) 종합 분석 툴킷을 포함해 에이전트 행동, 시장 가격, 그리드 안정성 지표 등을 자동 수집·시각화하고, 재현 가능한 실험을 지원. 프레임워크의 구조는 크게 네 부분으로 나뉜다. Dec‑POMDP 정의 단계에서 상태는 전력망 전압·전류, 배터리 SOC, 시장 가격 등으로 구성되고, 각 에이전트는 자신의 부하·생산·배터리 상태와 KPI 요약을 관측한다. 보상은 기존 비용(전력 구매·판매)에 KPI 기반 페널티/보너스를 가중합한 형태다. 시장 모듈은 청산 규칙을 인터페이스로 제공해 다양한 경매 방식을 실험할 수 있게 하며, 전력망 모듈은 pandapower 혹은 OpenDSS와 연동해 실시간 전압·손실을 계산한다. 학습 알고리즘은 PPO, QMIX 등 기존 MARL 라이브러리와 바로 연결 가능하도록 설계되었다. 실험에서는 24시간 시뮬레이션을 기반으로 100가구 규모의 배전망을 모델링하고, 저장 용량 비율(0%, 30%, 60%)과 두 가지 시장 메커니즘(균형 가격 경매, 선입선출 매칭)을 조합했다. KPI‑증강 보상을 적용한 에이전트는 저장 용량이 충분히 있을 때 피크 시점에 방전을 자율적으로 조정해 전압 편차를 15% 감소시키고, 라인 과부하 발생을 40% 줄였다. 반면, KPI‑증강이 없는 베이스라인은 비용 절감 효과는 있었지만 전압 안정성은 크게 개선되지 않았다. 또한, 시장 메커니즘에 따라 에이전트의 가격 신호 반응이 달라져 전체 사회적 비용에 5~12% 차이가 발생함을 확인했다. 논문의 마지막에서는 현재 프레임워크가 수천 가구 수준까지는 검증됐지만, 대규모 도시 수준에서는 계산 효율성 향상이 필요함을 인정한다. 또한, KPI 선택과 가중치 튜닝이 문제 특성에 따라 달라질 수 있어 자동화된 메타‑학습 기법을 도입하는 것이 향후 연구 과제로 제시된다. 결론적으로, MARLEM은 물리적 제약을 고려한 탈중앙화 시장 환경에서 암묵적 협력을 촉진하는 최초의 오픈소스 MARL 시뮬레이션 프레임워크이며, 연구자와 실무자가 LEM 설계·평가·최적화를 수행할 수 있는 강력한 도구로 자리매김한다.