실패 모드에서 신뢰 인식까지: 생성·에이전트 AI 시스템의 계층적 접근

본 장은 생성형 및 에이전트형 AI 시스템의 신뢰성을 기술적·조직적 관점에서 종합적으로 탐구한다. 먼저, 기존 AI 신뢰성 논의가 주로 모델·데이터 수준에 머물렀던 점을 지적하고, 이를 보완하기 위해 11계층으로 구성된 ‘실패 스택(Failure Stack)’을 제시한다. 이 스택은 물리적 기반인 하드웨어와 전원·에너지(1·2계층)부터 시스템 소프트웨어와 AI 프레임워크(3·4계층), 핵심 지식인 모델·데이터(5·6계층), 실제 서비스에 적용되는 애플리케이션·실행 환경(7·8계층), 운영 감시·학습 적응(9·10계층), 그리고 최종적인 에이전트·추론·다중 에이전트 협업(11계층)까지 포괄한다. 각 계층별 전형적인 실패 모드와 그 원인을 표와 서술으로 정리하고, 특히 계층 간 연쇄적 전파 메커니즘을 강조한다. 예를 들어, 전원 불안정이 시스템 소프트웨어 오류를 일으키고, 이는 데이터 파이프라인 중단으로 이어져 모델 업데이트가 왜곡되는 과정을 상세히 설명한다. 다음으로, 이러한 기술적 진단을 조직 차원의 ‘인식 매핑(Awareness Mapping)’과 연결한다. 인식 매핑은 조직·개인이 AI 스택 전반에 걸친 위험을 얼마나 인식하고 있는지를 5단계(무인식, 초기, 관리, 최적, 혁신)로 구분하고, 각 단계에 필요한 정책·프로세스·도구를 매핑한다. 이를 통해 신뢰성 위험에 대한 인식 수준을 정량화하고, 인식 격차가 존재하는 영역을 식별한다. 인식 매핑은 단순 점수 체계가 아니라, AI 거버넌스와 연계된 전략적 입력으로 활용된다. 마지막으로, 인식 매핑 결과를 Dependability‑Centred Asset Management(DCAM) 프레임워크에 통합한다. DCAM은 자산 수명 전반에 걸친 신뢰성, 가용성, 유지보수성을 관리하는 체계이며, 여기서는 AI 시스템을 ‘신뢰성 자산’으로 간주한다. 인식 매핑을 통해 도출된 위험 우선순위와 성숙도 수준을 DCAM의 자산 평가·위험 관리·개선 계획에 반영함으로써, 기술적 개선과 조직적 문화 변화가 동시에 진행되는 로드맵을 제시한다. 사례 연구로는 교통, 에너지, 의료, 제조, 건축 환경 등 다섯 개 분야의 실제 적용 사례를 제시한다. 각 사례는 특정 계층에서 발생한 실패가 어떻게 다른 계층으로 전파되어 시스템 전체에 영향을 미쳤는지를 보여주며, 인식 매핑을 적용했을 때 위험 감지 속도와 대응 효율이 어떻게 개선되는지를 실증한다. 결론적으로, 본 장은 (1) AI 시스템의 신뢰성은 다층적이며, 개별 계층의 실패가 복합적으로 연쇄 작용한다, (2) 조직의 위험 인식 성숙도가 신뢰성 관리 성과에 직접적인 영향을 미친다, (3) 인식 매핑을 정량화하고 DCAM과 연계함으로써 신뢰성 향상을 위한 전략적 로드맵을 구축할 수 있다, 라는 세 가지 핵심 메시지를 제시한다. 이는 기존의 사후적 오류 탐지·수정 접근을 넘어, 예방·예측·조직 문화 변화를 포괄하는 통합적 신뢰성 관리 패러다임을 제시한다.