전문가 의견을 활용한 신뢰성 시스템 설계 재고찰

본 논문은 ‘전문가 의견을 활용한 신뢰성 시스템 설계(Expert Elicitation for Reliable System Design)’에 대한 원 논문의 재고찰(rejoinder)이며, Koehler를 비롯한 여러 토론자들의 비판과 제안을 종합적으로 검토한다. 저자들은 먼저 토론자들의 의견에 감사를 표하고, 전문가 의견 수집이 시스템 엔지니어링 전 단계에 걸쳐 어떻게 달라지는지를 설명한다. Koehler가 제시한 기술 시스템에 대한 분류 체계(taxonomy)는 실무자에게 유용한 가이드라인을 제공하고, 국제 표준화의 가능성을 시사한다. 저자들은 자신들의 경험을 항공우주, 철도, 해군 등 복합 시스템에 적용해 왔으며, 특히 ‘폐쇄 루프(closed‑loop)’ 상황에 초점을 맞춘 이유를 밝힌다. 다음으로, ‘워터폴(waterfall)’형 개발에서 나타나는 두 가지 주요 문제—전문가 연속성 부족과 ‘전방 예측(forward casting)’ 요구—를 강조한다. 이는 군사 시스템처럼 긴 개발 주기를 가진 경우뿐 아니라, 규제·시장 변화, 아웃소싱 등으로 인해 상업 시스템에서도 발생한다. 이러한 상황에서는 기존의 히스토리 데이터 기반 신뢰성 모델이 적용되기 어려워, 전문가 판단이 대안이 된다. 논문은 이어서 다중 동시 신뢰성 모델(multiple concurrent reliability models)과 전문가 가중치(expert weighting)의 개념을 논의한다. 여기서 ‘모델 전문성(model expertise)’과 ‘전문가 전문성(expert expertise)’을 구분해야 함을 강조한다. 충분한 이해가 있으면 메타‑모델을 구축해 각 모델의 최적 조합을 도출할 수 있지만, 비용 효율성 문제로 실제 현장에서는 모델 결합이 더 현실적이다. 다음 섹션에서는 전문가 의견을 정량화하는 방법론에 대해 언급한다. 기존에 수행된 설문 조사(Jenkinson 2005 등)를 재조사하지 않고, 대신 경험적 베이즈(Empirical Bayes, EB) 접근을 제시한다. EB는 전문가 정보를 ‘데이터’로 취급해 사전분포와 우도함수를 동시에 추정함으로써 메타‑전문가 역할을 수행한다. 저자들은 EB를 적용해 ‘풀(pool)’을 선택하고, 사건들의 규모가 유사한 경우에 데이터를 병합하는 방법을 실제 사례(철도, 항공우주)와 함께 설명한다. 그 후, 토론자들이 제기한 세 가지 이슈를 정리한다. 1) **비확률적 불확정성 표현**: 확률론이 복잡한 시스템을 충분히 설명하지 못할 때 비확률적 방법이 필요하지만, 문제 정의와 모델링이 명확히 이루어지지 않으면 오히려 혼란을 초래한다는 점을 강조한다. 2) **불확정성 구간(Interval Probability)**: 구간 확률은 불량 사건의 상한을 보수적으로 설정하고, 데이터가 부족한 상황에서 신뢰성 한계값을 제공한다. Coolen·Co​len‑Schrijner 일련의 연구를 인용해 실제 적용 가능성을 제시한다. 3) **다기준 의사결정 모델(MCDM)**: AHP와 같은 가중치 부여 방식을 확률에 직접 곱하는 것은 이론적 근거가 부족하며, 시스템 구조를 무시한 복잡한 계산은 실무적 의미가 제한적이다. 조직 문화와 이해관계자 간 신뢰 문제도 중요한 논점이다. 고객이 동시에 전문가이자 사용자일 경우, 편향을 최소화하기 위한 투명한 절차와 신뢰 구축 메커니즘이 필요하다. 6‑시그마와 같은 품질 관리 프레임워크와 연계된 전문가 의견 수집이 실제 현장에서 효과적일 수 있음을 제시한다. 마지막으로, 메타‑모델링 시스템인 TRACS와 같은 상용 도구가 초기 단계에서 메타‑모델 구축을 지원하지만, 상업 시스템의 내부 구조가 비공개인 경우 학계가 이를 평가하기 어렵다는 한계를 인정한다. 저자들은 향후 연구 과제로 다음을 제시한다. (1) 국제 표준화된 전문가 의견 수집 및 가중치 부여 체계 구축, (2) 불확정성 구간과 경험적 베이즈를 결합한 혼합 모델 개발, (3) 조직 문화와 신뢰 메커니즘을 고려한 실무 적용 가이드라인 제시. 전반적으로, 이 재고찰은 전문가 의견을 신뢰성 설계에 통합하는 방법론을 비판적으로 검토하고, 기존 접근법의 한계와 새로운 연구 방향을 제시함으로써 학계와 산업계 모두에게 실질적인 통찰을 제공한다.