통계적 유의성의 진실: 표본 수 증가에 따른 미묘한 변화

통계적 유의성 확립은 과학계에서 보편적인 관행이다. 이는 과학자의 관찰된 측정값이 우연의 결과일 가능성이 낮음을 증명하는 것을 포함한다. 일반적으로 이를 (p<0.05)로 정의하며, 이는 관찰된 차이의 5% 미만이 우연에 기인할 가능성을 나타낸다. 통계적 유의성은 다양한 통계 검정을 통해 확립될 수 있는데, 이는 과학자의 측정값을 무작위 생성 분포와 비교하여 p-값을 도출한다. 알려진 바에 따르면, 표본 수가 증가함에 따라 두 분포 간의 차이가 통계적 유의성(p<0.05)을 달성하기 위해 필요한 정도가 작아진다. 본 연구 논문의 주요 초점은 표본 수가 커질수록 두 그룹 간 분리 정도(통계적 유의성을 달성하기 위한)가 미미해지는 것을 보여주는 데이터를 제시하는 것이다. 이러한 효과는 과학자들이 통계적 유의성을 얻기 위해 매우 낮은 임계치를 가지고 있음을 시사한다. 극단적인 경우, “통계적으로 유의미한” 효과는 실질적으로 질적으로 중요하지 않다.

본 연구에서는 널리 받아들여지는 두 샘플 t-검정[1]을 사용하여 통계적 검정을 수행하기로 결정했다. 참고할 만한 점은 t-검정이 1908년, 컴퓨터가 등장하기 훨씬 전인 한 세기 전에 맥주 공장에서 개발되었다는 것이다(학생이라는 가명으로 작성한 과학자에 의해). 당시 연구자가 수동으로 p-값을 계산하는 것은 비합리적이었을 정도로 표본 수가 많았다. 오늘날 연구 환경에서는 저널 논문 심사자가 일반적인 과학자의 실험에서 10개 이상의 표본을 요구할 가능성이 높으며, 이는 의도치 않게 통계적 유의성을 얻기 위한 기준을 낮추는 결과를 초래한다. 본 연구를 통해 t-검정이 다른 시대를 위해 설계되었으며 현대 과학자에게 대체 기법이 더 유익하다는 것이 명확해질 것이다. 빌 로제부움(Bill Rozeboom)이 1960년에 썼듯이, “과거의 통계적 관습은 여전히 현지 상황을 지배하고 있다”[2]. 로제부움은 t-검정의 도입 후 50년 이상 지난 시점에서 통계적 검정에 대한 문제를 언급했다. 현재로부터 50년이 흐른 지금도 그의 말은 여전히 유효하다. 많은 비판에도 불구하고, p-값 임계치(p<0.05)를 기반으로 가설 검정을 수행하는 것은 현대 과학자들이 가장 일반적으로 사용하는 통계 기법 중 하나이다.

일반적인 생각과는 달리, 표본 수를 증가시키면 계산된 통계 p-값의 신뢰성이 향상된다. 사실, 표본 수가 많아질수록 두 그룹 간 분리 정도가 통계적 유의성을 달성하기 위해 필요한 수준이 작아진다. 이는 p-값 계산이 무작위 데이터에 기반하기 때문이다. 표본 수가 매우 커지면 큰 무작위 분포 간의 중복이 항상 크므로 두 분포 간 작은 차이가 p-값 0.05 미만을 달성하는 데 충분하다. 다른 말로 하면, 통계적 유의성을 위한 임계치가 너무 낮아(충분한 표본 수를 전제로) 두 개의 잡음 신호가 매우 미묘하게만 다르더라도 “통계적으로 유의미"하다고 판단될 수 있다.

통계적 유의성의 영향과 시각화 연구

통계적 유의성은 과학자들의 실험 접근 방식에 큰 영향을 미칠 수 있습니다. 과학자로서의 우리의 경력 전망(따라서 명성과 개인 재무 상태)은 동료 평가 저널 논문 출판물 축적에 크게 의존합니다. 이러한 개인적인 동기는 우리가 연구가 출판될 수 있도록 실험 결과를 검증하도록 편향시킵니다. 저널 논문 리뷰어가 일반적으로 실험 결과의 통계적 유의성을 요구하기 때문에, 우리는 경력 성공을 위해 저널 논문을 축적하고자 통계적 유의성을 찾는 경향이 있습니다.

‘유의성’이라는 단어는 주관적이고 질적인 개념입니다. 무언가가 ‘유의하다’는 것은 관찰자의 관점에 달려 있습니다. ‘통계적’이라는 단어를 추가하면 매우 양적인 단어와 질적인 단어의 조합으로, 실험 결과에 신뢰성과 확실성을 부여합니다. p-값이 0.05 미만인 경우 말이죠. 이는 통계적 유의성의 널리 받아들여지는 임계값입니다.

통계적 유의성은 무작위 분포에 기반하기 때문에, p-값 계산(p<.05)에 대한 가설 검증은 우리의 실험이 무작위성보다 더 잘 수행되었는지 묻는 것과 같습니다. 그러나 대부분의 과학자들이 논리적으로 실험을 설계했을 가능성이 높기 때문에, 그들은 일반적으로 무작위 확률보다 적어도 약간 더 좋은 성과를 낼 것입니다. 따라서 과학자들은 특히 많은 표본을 사용할 경우 실험에서 통계적 유의성을 찾을 가능성이 매우 높습니다. 본 연구는 통계적 유의성(p<.05)을 달성하기 위해 중대한 표본 크기의 경우만 간신히 유의미하거나 심지어 비유의적일 수 있는 실험 데이터가 필요하다는 것을 시각적으로 보여주는 것을 목표로 합니다.

p-값은 무작위로 생성된 데이터 분포에서 참조 테이블을 통해 계산됩니다. 본 연구 방법은 다양한 표본 크기에서 표준 정의의 통계적 유의성(p<.05)을 달성하기 위해 필요한 두 그룹 숫자 간의 분리가 얼마나 필요한지 시각적으로 보여줍니다. 이는 많은 양의 정규(가우시안) 무작위 분포를 생성함으로써 이루어집니다.

본 연구는 두 표본 검정을 수행하여 두 그룹의 숫자를 비교하고 그들이 통계적으로 유의미하게 다른지를 결정하는 데 중점을 둡니다. 이는 과학자들이 매우 자주 비교하는 두 그룹의 숫자(실험군과 대조군 등)를 비교하는 가장 보편적인 통계적 검정 유형 중 하나입니다. 본 연구에서는 각 예시 표본 크기에 대해 1000 쌍의 무작위 분포를 생성했습니다. 모든 무작위로 생성된 사례 중에서 p-값이 0.05 미만인 쌍은 시각적으로 ‘통계적 유의성’을 달성하기 위해 두 데이터 그룹 사이에 필요한 분리를 보여주는 데 사용됩니다.

다양한 그룹 표본 크기에 걸쳐 무작위 분포를 생성하여, 이미지 차원은 2의 요소로 표현되었습니다(4, 16, 64, 256, 1024, 4096, 16384). 노이즈 쌍은 두 그룹이 거의 통계적으로 유의미하게 다른 경우의 양이 표본 수에 따라 어떻게 변화하는지를 보여줍니다. 모든 통계적 유의성 검정은 가장 일반적인 통계적 검정 중 하나인 두 표본 t-검정을 사용하여 수행되었습니다. 이는 우리의 통계적 검정 방법이 무작위로 생성된 분포 유형(가우시안 노이즈/정규 분포)과 일치하도록 선택되었기 때문입니다. 또한, 각 표본 크기 설정마다 p-값이 0.05 미만인 무작위적으로 생성된 분포의 개수를 열거했습니다. 모든 무작위 정규(가우시안) 분포는 수학적 통계 패키지 MATLAB(Mathworks, Natick, MA, USA)을 사용하여 생성되었습니다.

번역된 학술 텍스트: 전문적인 한국어 버전

[텍스트 조각 3/3]: 매트랩에서 제공되는 표준 두 샘플 t-테스트로 수행되었습니다.

이 연구의 주요 결과로는 p-값이 0.05 직전에 있는 무작위로 생성된 쌍의 분포가 포함됩니다. 그림 1은 또한 일반적으로 정의되는 통계적으로 유의미한 차이를 보인 총 무작위 생성 분포의 수를 나타내며, 이는 인기 있고 잘 확립된 두 샘플 t-테스트를 사용하여 확인되었습니다. 실험이 1000개의 무작위 분포를 생성하기 때문에, 우리는 그중 50개(5%)가 통계적으로 유의미한 결과(p<.05)를 보일 것으로 예상합니다. 각 시도에서의 결과는 각 1000개의 무작위 생성 사례 중 약 50개의 샘플이 통계적 유의성을 달성했다는 것을 확인했습니다.

각 노이즈 이미지 쌍을 살펴보는 과학자는 두 시각적 이미지 분포가 주어진 샘플 수에 대해 통계적 유의성의 임계값에 매우 가까이 있다고 해석할 수 있습니다. 두 통계적으로 유의미하게 다른 분포 간의 차이가 샘플 수가 증가함에 따라 작아진다는 점을 주목하세요. p-값을 통해 통계적 유의성을 확립하는 것은 “우리는 무작위성 95%를 극복했는가?“라는 질문에 답을 제공합니다. 하지만 무작위성은 우리가 스스로에게 설정할 수 있는 매우 낮은 기준이므로, 합리적인 표본 크기를 다루는 과학자들은 거의 어디서나 통계적으로 유의미한 결과(p<.05)를 찾을 수 있을 것입니다.