출처: Pixabay
저작권: Creative Commons 0
"아, 이번 데이터는 유의한 결과를 뽑을 수 있을줄 알았는데, 어떡하지? 연구 다시 해야하나?"
"걱정마, P-hacking이 있잖아 :)"
안녕하세요, 
P-hacking이란 간단하게 말하자면, 유의한 통계 수준 (P<0.05)를 얻기 위해서, 데이터 획득 과정에서 임의로 멈추거나 데이터 분석 방법을 임의대로 다양하게 변화시키거나, 혹은 데이터 구조를 변화시키는 것을 뜻합니다. 다시 말해, 데이터를 수집하거나 선택하거나 통계적으로 분석하는 과정에서 통계적으로 유의하지 않은 결과를 억지로 유의하도록 만드는 것을 뜻합니다.
이러한 상황은 왜 일어나게 되는 것일까요?
위와 같은 상황 때문에, 연구자들은 P-hacking의 유혹에 빠지게 됩니다.
저널을 출판할 때에는 아무래도 유의한 결론을 내리는 연구가 주목을 더 받게 되기 때문에 (어떠한 가설을 증명했다는 것이 결국 돋보이기 때문에) 저널 출판에 있어서도 출판 비뚤림, publication bias가 발생하게 됩니다. 이는 두 가지의 효과를 유도하게 되는데,
위와 같은 부정적인 효과를 낳을 수 있고, 이는 결국 다른 사람들의 후속 연구를 잘못된 방향으로 이끌거나 펀딩을 비롯한 자원의 낭비를 불러일으킬 수 있습니다.
이러한 P-hacking은 다음과 같은 구체적인 시도로 이루어질 수 있습니다.
이러한 p-value는 사실 표본수에 영향을 받기 때문에, 매우 많은 샘플링을 하는 경우, 실제 유의하지 않은 결과가 통계적으로 유의하게 나올 수 있고, 그 반대도 가능합니다. 따라서 최근에는 p-value 대신 효과 크기(effect size)로 기술하려는 움직임도 나타나고 있습니다. 효과 크기를 사용하는 경우,
위와 같은 세 가지의 장점을 가지고 있습니다.
효과 크기의 가장 간단한 예로는,
두 집단의 평균을 비교하고자 하는 경우, 두 집단의 평균의 차(mean difference)를 우선 구하고, 이를 통합표준편차(pooled standard deviation)으로 나눈 값을 효과 크기로 사용하는 방법이 있습니다. 이 때 귀무가설은 효과크기=0이 되고, 두 집단의 평균의 차이가 클수록, 효과 크기도 커지게 될 것입니다.
P-hacking의 효과를 알아보기 위해서, p-curve라는 것을 도입할 수 있습니다. p-curve 는 여러 연구들의 p-value에 대한 분포를 나타낸 커브입니다. 이러한 p-curve를 통해서, 우리는 1) 출판 비뚤림의 영향과 2) P-hacking의 영향을 살펴볼 수 있습니다.
참고문헌[1]의 그림1. 출판 비뚤림(publication bias)의 효과를 나타냅니다.
저작권: CC-BY 4.0
그렇다면 p-hacking의 효과는 어떨까요?
참고문헌[1]의 그림2. P-hacking 의 효과를 나타냅니다.
저작권: CC-BY 4.0
그러면 이러한 P-hacking을 방지하기위해서는 어떻게 해야할까요?
우선 연구자의 입장에서는
그리고 저널에서는 다음과 같은 사항을 강조하는 것이 좋겠습니다.
이러한 방향이 중요할 것으로 보입니다.
P-hacking은 연구 부정까지 이야기하기에는 애매한 지점이 존재할 수 있습니다. 하지만 충분히 진실된 결과, 후속 연구의 방향이 제대로 이루어지기 위한 도움 닫기의 연구 결과를 나타내기 위해서는, 연구자들이 연구를 수행하면서 P-hacking에 관한 인식과 경각심을 한번쯤 가져보아야 하지 않을까 생각합니다.
참고문헌
[1] Megan L. Head , Luke Holman, Rob Lanfear, Andrew T. Kahn, Michael D. Jennions, The Extent and Consequences of P-Hacking in Science, PLoS Biol 13(3): e1002106. https://doi.org/10.1371/journal.pbio.1002106 , 저작권 CC-BY 4.0
[2] 남상건, 효과크기의 이해, Hanyang Med Rev 2015;35:40-43
[3] p-hacking, or cheating on a p-value, http://freakonometrics.hypotheses.org/19817
