레질리언스와 자율성: 핵심 인프라에서 구현되는 몸을 가진 AI 거버넌스

본 논문은 급격히 디지털화되고 자동화되는 핵심 인프라(Critical Infrastructure, CI)에 임베디드 AI(EAI)가 도입됨에 따라 발생하는 새로운 위험과 그에 대응하기 위한 거버넌스 모델을 제시한다. 서론에서는 CI가 물리·가상 자산의 복합체로서 사회 기능을 유지하는 데 필수적이며, 2000년대 초반부터 위험 예방 중심의 보호 논리에서 ‘레질리언스 전환(resilience shift)’으로, 나아가 AI‑주도 전환으로 변화하고 있음을 설명한다. 그러나 AI는 주로 통계적 불확실성을 다루는 모델에 기반하므로, ‘알려진 알려진(known knowns)’, ‘알려진 알려지지 않음(known unknowns)’, ‘알려지지 않은 알려짐(unknown knowns)’, ‘알려지지 않은 알려지지 않음(unknown unknowns)’ 등 다양한 위험 유형 중 특히 후자에 취약하다. ‘시스템 서프라이즈(system surprise)’ 섹션에서는 이러한 예측 불가능한 상황이 구조적 불확실성, 연쇄적 고장, 복합적 상호작용으로 나타나며, AI가 훈련 데이터에 의존할 경우 급격히 변하는 환경에 적절히 대응하지 못한다는 점을 강조한다. 특히, AI가 인간·기계·조직 간의 촘촘히 결합된 네트워크에서 작동할 때 ‘정상 사고(normal accidents)’가 발생하기 쉬우며, 작은 내부 결함이 전력·ICT와 같은 핵심 허브를 통해 전 시스템으로 확산될 위험이 있다. 이러한 위험을 관리하기 위해 논문은 ‘제한된 자율성(bounded autonomy)’과 ‘하이브리드 거버넌스’를 핵심 원칙으로 제시한다. EU AI Act(2024)은 고위험 AI에 인간 감독을 의무화하고, 사전·사후 감시, 문서화, 견고성 검증, 사고 보고 등을 요구한다. ISO/IEC TR 5469:2024와 TS 8200:2024는 AI가 안전 기능을 수행할 때 ‘관측 가능성(observability)’, ‘제어 가능성(controllability)’, ‘제어 전이(control‑transfer)’가 보장되어야 함을 명시한다. 이를 토대로 저자는 네 가지 감독 모드를 정의한다. 1. **Fully AI‑Automated (Human‑out‑of‑the‑Loop)**: 인간 개입 없이 자동으로 작동하되, 사전 정의된 안전 제약과 페일백 메커니즘이 존재한다. 전력망의 밀리초 수준 부하 균형 등 초고속 대응이 요구되는 저위험 작업에 적합한다. 2. **Human‑on‑the‑Loop (HOTL)**: 시스템이 자율적으로 동작하되, 인간이 실시간 모니터링하고 필요 시 중단·재개할 수 있다. 예측 유지보수, 정상 상태 운영 등 위험이 비교적 낮고, 인간이 상황을 감시할 여유가 있는 경우에 적용한다. 3. **Human‑in‑the‑Loop (HITL)**: 고위험·고결과 행동에 인간 승인이 필수이며, AI는 인간의 승인 없이는 실행되지 않는다. 서비스 복구, 재구성 등 물리적·사회적·환경적 피해가 클 수 있는 상황에 사용한다. 4. **Human‑in‑Command (HIC)**: 인간이 전략적 목표, 안전 한계, 규칙·에스컬레이션 임계값을 정의하고, AI는 그 범위 내에서만 작동한다. 대규모 인프라 장애, 사이버 전쟁, 재난 복구 등 비정형 위기 상황에서 정책·법·윤리적 책임을 인간이 최종적으로 지는 구조이다. 각 모드는 작업 복잡도, 위험 수준, 오류 결과, 규제·윤리 요구사항, 응답 시간, 인지 부하 등을 고려해 선택된다. 실제 CI에서는 하나의 시스템이 여러 모드를 동시에 운영하거나 상황에 따라 전환할 수 있다. 예를 들어, 전력망의 자동 보호 장치는 Fully AI‑Automated으로 동작하지만, 대규모 정전 발생 시 HOTL으로 전환해 인간 운영자가 상황을 파악하고, 필요 시 HITL을 통해 복구 절차를 승인하며, 최종적인 복구 전략은 HIC 단계에서 정책 결정자가 정의한다. EAI의 기술적 과제도 상세히 다룬다. SLAM, 데이터 연관 문제, 센서 노이즈, 물리적 제약 등은 내생적 취약성을 야기한다. 또한, 드론·수중 로봇·다리 로봇 등 도메인별 환경 변동성(바람, 해류, 지면 상태 등)은 외생적 취약성을 증가시킨다. 이러한 복합 위험을 최소화하려면 고성능 센서 융합, 견고한 알고리즘, 실시간 재학습, 시뮬레이션 기반 훈련이 필요하다. 마지막으로 논문은 정책·표준·운영 훈련이 유기적으로 결합된 거버넌스 프레임워크를 제안한다. 규제는 AI 설계·배포 단계에서 인간 감독 요구사항을 명시하고, 표준은 기능 안전·제어 가능성 검증 절차를 제공한다. 운영 측면에서는 시뮬레이션·훈련·연습을 통해 인간 운영자의 상황 인식·판단 능력을 강화하고, 위기 상황에서 모드 전환 절차를 사전에 검증한다. 이렇게 다층적이고 동적인 거버넌스 체계가 구축될 때, 임베디드 AI는 CI의 레질리언스를 증진시키면서도 안전·책임성을 유지할 수 있다.