재현성 위기와 통계적 모델링: OSC 연구의 편향 재평가

본 논문은 2015년 Open Science Collaboration(Nosek et al., 2015)이 발표한 ‘재현성 위기’를 다루는 연구가 사용한 통계적 방법론에 내재된 편향을 분석하고, 이를 보완할 수 있는 수학적 모델을 제시한다. 서론에서는 재현성의 중요성을 강조하며, 기존 조사들이 97%의 원 논문이 유의미한 결과를 보고했음에도 불구하고 복제 연구에서는 36%만이 유의미한 결과를 재현했다고 보고한 사실을 언급한다. 이어서 Etz & VandeKerkhove(2016), Klein et al.(2014), Camerer et al.(2016) 등에서 보다 높은 재현성 비율을 보고한 사례들을 소개하며, OSC‑RP 결과가 과도하게 비관적일 가능성을 제시한다. 2절에서는 재현성 모델을 정식화한다. 가설 검정의 전체 집합 U를 정의하고, 실제 효과가 존재하는 비율을 π(효과 유병률)로 설정한다. 제1종 오류(α)와 제2종 오류(β)를 각각 P(E|Aᶜ)와 P(Eᶜ|A)로 정의하고, 양성예측값(PPV)=P(A|E) 를 베이즈 정리로 전개한다. 결과적으로 Odds(PPV)=((1‑β)/α)·Odds(π)라는 식을 얻으며, 이는 효과 유병률이 낮을수록 PPV가 급격히 감소함을 의미한다. 다음으로 복제 연구에서 관측되는 재현성(PPV_obs)을 도입한다. 복제 연구의 α*와 β*가 원 연구와 다를 수 있음을 인정하고, PPV_obs≈PPV·(1‑β*)+(1‑PPV)·α* 라는 관계식을 제시한다. 이를 변형하면 PPV≈(PPV_obs‑α*)/(1‑α*‑β*) 로 실제 PPV를 역산할 수 있다. 표 1에서는 네 가지 시나리오를 제시한다. (1) OSC‑RP가 암묵적으로 가정한 π=1(극단적 낙관) → PPV=1, PPV_obs≈0.9; (2) ‘장비(equipoise)’ 상황 π=0.5 → PPV≈0.95, PPV_obs≈0.81; (3) Many Labs Replication Project와 일치하는 π=0.25 → PPV≈0.86, PPV_obs≈0.78; (4) 탐색적·보조 분석 π=0.05 → PPV≈0.49, PPV_obs≈0.44. 이 표는 π가 낮아질수록 재현성 기대치가 크게 떨어짐을 명확히 보여준다. 2.2절에서는 임상시험에서의 효과 유병률을 실제 성공률 데이터와 연결한다. FDA와 SWOG 데이터에 따르면 임상시험의 성공률은 30%~50% 수준이며, 이는 π가 0.5 이하임을 시사한다. 또한 고처리량 데이터 기반 탐색 연구에서는 π가 0.05 이하일 가능성이 크다. 2.3절에서는 ‘임상 장비(equipoise)’ 개념을 도입해 π=0.5가 윤리적·통계적 최적점이라고 주장한다. 장비는 치료 효과에 대한 진정한 불확실성을 의미하며, 이는 정보 이론에서 불확실성 감소가 최대가 되는 상황과 일치한다. 2.4절에서는 기존 모델에 편향 파라미터 u를 추가한 Ioannidis(2005)의 접근과 비교한다. 저자는 u를 별도로 도입하지 않더라도 낮은 π와 높은 α, β가 낮은 PPV를 초래한다는 점을 강조한다. 3절에서는 예비 데이터(파일럿) 활용에 따른 파워 분석 문제를 논한다. 효과 크기를 예비 데이터에서 추정하고 이를 그대로 미래 연구의 샘플 크기 결정에 사용하면, 두 단계 의사결정 과정이 통계적으로 적절히 모델링되지 않아 과대평가와 낮은 재현성을 초래한다. 이를 해결하기 위해 독립적인 검증 연구와 사전 정의된 파워 분석 절차를 권고한다. 결론적으로, 저자는 OSC‑RP가 보고한 낮은 재현성 비율이 효과 유병률을 1로 가정한 비현실적인 전제와, 선택 편향 및 효과 크기 과대추정에 기인한다고 주장한다. 보다 현실적인 π 값을 적용하고, 검증 연구를 체계적으로 수행한다면 false positive와 false negative 사이의 균형을 맞춘 보다 신뢰성 있는 과학적 결과를 얻을 수 있음을 강조한다.