최대 결합 엔트로피를 통한 지능형 협업 설계

본 논문은 자동화된 지능형 에이전트가 최소한의 인간 개입으로 학습하고 행동할 수 있도록, 에이전트를 ‘질문‑답변’ 기계로 모델링한다. 이를 위해 ‘Inquiry calculus’를 도입하여 질문 공간을 격자 구조로 정의하고, 질문 간 포함 관계를 통해 질문이 중심 이슈(전체 상태 집합)를 얼마나 잘 답하는지를 나타내는 ‘관련도’를 수치화한다. 관련도는 해당 질문이 만든 확률 분할의 Shannon 엔트로피와 비례함을 보이며, 이는 기존 확률론과 정보 이론을 확장한 형태이다. 연구는 두 개의 질문‑제시 에이전트가 동시에 작업할 때 발생할 수 있는 정보 중복 문제에 초점을 맞춘다. 각각의 에이전트가 독립적으로 질문을 선택하면, 동일한 정보가 중복될 위험이 있다. 이 중복은 두 질문 사이의 상호 정보(mutual information)로 정량화된다. 논문은 이 중복을 최소화하기 위한 최적 조건으로 ‘결합 엔트로피’를 최대화하는 원리를 제시한다. 결합 엔트로피는 두 질문이 동시에 만든 4‑분할(예: (white,white), (white,black), (black,white), (black,black))에 대한 확률 분포의 엔트로피이며, 이는 개별 엔트로피의 합에서 상호 정보를 뺀 값과 동일하다. 따라서 결합 엔트로피를 최대화하면 각 질문의 개별 엔트로피는 유지하면서 상호 정보를 최소화하게 된다. 실험적 검증을 위해 레고 마인드스톰 NXT 로봇 두 대를 이용해 흰 원을 탐지하는 시나리오를 설계한다. 원은 중심 좌표 (x₀, y₀)와 반지름 r₀라는 세 파라미터로 정의되며, 로봇은 빛 센서를 이용해 특정 위치에서 ‘white’ 혹은 ‘black’ 강도를 측정한다. 사후 확률 분포에서 샘플링된 원들(45개)을 이용해 각 측정 위치에서의 흰색/검은색 확률을 추정하고, 이를 히스토그램으로 변환해 엔트로피를 계산한다. 첫 번째 로봇은 전체 엔트로피 맵을 기반으로 가장 높은 엔트로피를 갖는 위치 E₁을 선택한다. 두 번째 로봇은 E₁이 고정된 상태에서 결합 엔트로피가 최대가 되는 위치 E₂를 탐색한다. 결합 엔트로피는 네 가지 가능한 결과 조합(A, B, C, D)의 확률 분포에 대한 엔트로피이며, 이는 두 로봇이 동시에 측정했을 때 얻을 수 있는 전체 정보량을 의미한다. E₂를 선택할 때는 E₁과의 상호 정보를 최소화하면서도 높은 개별 엔트로피를 유지하는 지점을 찾는다. 시뮬레이션 결과는 두 가지 경우를 보여준다. 첫 번째 경우는 샘플 원들이 서로 크게 겹쳐 높은 상관관계를 보이며, 두 번째 경우는 원들이 거의 독립적으로 분포한다. 높은 상관관계가 있는 경우, 결합 엔트로피 지도는 E₂가 E₁과 물리적으로 가까운 위치에 있더라도 정보 중복을 피하도록 배치한다. 반면 낮은 상관관계에서는 E₂가 E₁과 거의 독립적인 영역에 위치한다. 이는 결합 엔트로피 최대화가 실제로 상호 정보를 감소시키고, 전체 학습 효율을 향상시킴을 실증한다. 논문의 이론적 기여는 ‘Inquiry calculus’를 활용해 질문 선택을 정량화하고, 결합 엔트로피 최대화가 협업 학습에서의 최적 설계 원칙임을 증명한 점이다. 실용적 기여는 로봇 탐사, 원격 과학 실험, 다중 센서 네트워크 등에서 중복 측정을 최소화하고 자원을 효율적으로 배분하는 전략을 제공한다. 또한, 질문을 확률적 분할로 모델링함으로써 기존 실험 설계 이론을 확장하고, 복수 에이전트 시스템에서 정보 기반 협업을 구현하는 새로운 프레임워크를 제시한다.