p- 값이 작을수록 더 설득력이 있습니까?

나는 값 , 유형 1 오류율, 유의 수준, 검정력 계산, 효과 크기 및 Fisher vs Neyman-Pearson 토론 에 대해 읽었습니다 . 이로 인해 나는 약간 압도되었다. 나는 텍스트의 벽에 대해 사과하지만 실제 질문으로 넘어 가기 전에 이러한 개념에 대한 나의 현재 이해에 대한 개요를 제공 할 필요가 있다고 느꼈다.$p$

내가 수집 한 것에서 값은 단순히 놀람의 척도이며, 귀무 가설이 참인 경우 최소한 극단적 인 결과를 얻을 확률입니다. Fisher는 원래 지속적인 측정을 위해 고안되었습니다.$p$

Neyman-Pearson 프레임 워크에서 유의 수준을 미리 선택하고이를 임의의 차단 점으로 사용하십시오. 유의 수준은 유형 1 오류율과 같습니다. 장기 빈도로 정의됩니다. 즉, 실험을 1000 번 반복하고 귀무 가설이 참인 경우, 이러한 실험 중 약 50 개 는 샘플링 변동성으로 인해 상당한 영향을 미칩니다. 유의 수준을 선택함으로써, 우리는 특정 확률로 이러한 오탐으로부터 자신을 보호하고 있습니다. 전통적으로 은이 프레임 워크에 나타나지 않습니다.$P$

우리가 발견하면 0.01 - 값을이 않습니다 하지 유형 1 오류 비율이 0.01 것을 의미, 유형 1 오류가 선험적으로 적혀있다. p- 값 이 종종 0.05 *, 0.01 **, 0.001 ***로보고 되기 때문에 이것이 Fisher 대 NP 토론의 주요 주장 중 하나라고 생각합니다 . 이로 인해 사람들은 효과가 특정 유의 가치 대신 특정 p- 값 에서 중요하다고 말하게 될 수 있습니다.$p$$p$$p$

또한 값이 샘플 크기의 함수 라는 것을 알고 있습니다. 따라서 절대 측정으로 사용할 수 없습니다. 작은 p- 값은 큰 샘플 실험에서 작고 관련이없는 효과를 가리킬 수 있습니다. 이를 방지하기 위해 실험의 표본 크기를 결정할 때 검정력 / 효과 크기 계산을 수행하는 것이 중요합니다. P 값은 효과가 크지 않은지 여부를 알려줍니다. 설리번 2012 참조 .$p$$p$$P$

내 질문 : p- 값이 놀람의 척도 (작은 = 더 설득력있는) 라는 사실을 어떻게 조정할 수 있습니까? 동시에 절대 측정으로 볼 수는 없습니까?$p$

내가 혼동하는 것은 다음과 같습니다. 우리 는 큰 값보다 작은 p- 값 에 대해 더 확신 할 수 있습니까? 어부의 의미에서 우리는 더 놀랐습니다. NP 프레임 워크에서 더 작은 유의 수준을 선택하면 우리가 오탐으로부터 더 강력하게 보호하고 있음을 의미합니다.$p$

그러나 반면에 은 표본 크기에 따라 다릅니다. 그것들은 절대적인 척도가 아닙니다. 따라서 0.001593이 0.0439보다 더 중요 하다고 간단히 말할 수는 없습니다 . 그러나 이것이 Fisher의 프레임 워크에 내포 된 것 : 우리는 그러한 극단적 인 가치에 더 놀랄 것입니다. 매우 중요한 용어 가 잘못되었다는 용어에 대한 논의도 있습니다 . 결과를 "매우 중요"하다고 말하는 것이 잘못입니까?$p$

나는 그것을 들었다 그들이 0.0001보다 작은 경우 다른 필드 값에 약 0.01가 이미 매우 중요한 것으로 간주되는 반면, 과학의 일부 분야에서 -values 만 중요하게 고려된다.$p$

관련 질문 :

• Fisher와 Neyman-Pearson 간의 "하이브리드"가 통계 테스트에 대한 접근 방식이 실제로 "일관되지 않은 오해"입니까?

• Fisher 및 Neyman-Pearson 프레임 워크를 언제 사용해야합니까?

• 'p- 값'의 정확한 값이 의미가 없습니까?

• 유형 I 오류와 관련된 p- 값의 빈번한 특성

• 두 평균에 대한 신뢰 구간 대 P- 값

• 낮은 p- 값이 널에 대해 더 이상 증거가 아닌 이유는 무엇입니까? Johansson 2011의 주장 (@amoeba 제공)

더 작은 $p$ "더 설득력이 있습니까?" 예, 물론입니다.

Fisher 프레임 워크에서 값은 귀무 가설에 대한 증거 량을 정량화 한 것입니다. 증거는 다소 설득력이 있습니다. p- 값 이 작을수록 더 설득력이 있습니다. 고정 크기 샘플 주어진 실험에서 유의 N 은 P의 @Scortchi 좋게 그의 답변 (+1)에 지적한 바와 같이 - 값이 단조롭게 효과의 크기와 관련된다. 따라서 더 작은 p- 값은 더 큰 효과 크기에 해당합니다. 물론 그들은 더 설득력이 있습니다!$p$$p$$n$$p$$p$

Neyman-Pearson 프레임 워크에서 목표는 이진 결정을 얻는 것입니다. 증거가 "중요"하거나 그렇지 않습니다. 임계 값 를 선택하면 α 오 탐지 수를 초과하지 않습니다 . 동일한 데이터를 볼 때 사람들마다 다른 α를 생각할 수 있습니다 . 아마도 내가 회의적인 분야의 논문을 읽었을 때 저자가 중요하다고 부르더라도 p = 0.03의 "중요한"결과로 개인적으로 고려하지는 않을 것입니다. 내 개인 α 가 0.001 또는 다른 것으로 설정되었을 수 있습니다 . 분명히보고 된 p를 낮추십시오$\alpha$$\alpha$$\alpha$$p=0.03$$\alpha$$0.001$$p$ 값 될 수 있습니다. 따라서 다시 p를 낮추십시오$p$ 이 더 설득력이 있습니다.

현재 표준 관행은 Fisher와 Neyman-Pearson 접근 방식을 결합하는 것입니다. 이면 결과를 "중요"라고하고 p- 값을 [정확하게 또는 대략적으로]보고하고 설득력의 척도로 사용합니다 (표시하여) "매우 중요한"등의 표현을 사용하는 별과 함께); 경우 p는 > α는 , 그 결과는 "중요하지"라고하고 그게 다에요.$p<\alpha$$p$$p>\alpha$

이를 일반적으로 "하이브리드 접근 방식"이라고하며 실제로는 하이브리드입니다. 어떤 사람들은이 잡종이 일관성이 없다고 주장합니다. 나는 동의하지 않는 경향이있다. 두 가지 유효한 일을 동시에 수행하는 것이 왜 무효입니까?

더 읽을 거리 :

• Fisher와 Neyman-Pearson 간의 "하이브리드"가 통계 테스트에 대한 접근 방식이 실제로 "일관되지 않은 오해"입니까? - "하이브리드"에 대한 나의 질문. 그것은 약간의 토론을 불러 일으켰지 만 여전히 어떤 대답에도 만족하지 못하고 어느 시점에서 그 스레드로 돌아갈 계획입니다.

• 결과가 "매우 중요"하다고 말하는 것이 잘못입니까? -어제의 대답을 보라. 그것은 본질적으로 잘못되었다 (아마도 약간 부주의하다).

• $p$

더 작은 p- 값이 "더 나은"것이거나 "더 자신감이있는"것의 의미를 모르겠습니다. 그러나 귀무 가설을 믿었다면 데이터에 얼마나 놀랐는지에 대한 척도로서 p- 값을 고려할 때 충분히 합리적입니다. p- 값은 선택한 검정 통계량의 단조 함수입니다모집단 또는 실험 처리의 무작위 배정에서 관련 샘플링 절차에 따라 귀무 가설과 관심 방향으로 불일치를 측정하여 해당 특성과 관련하여 보정합니다. "의의"는 p- 값이 특정 값보다 높거나 낮은 것을 의미하는 기술 용어가되었습니다. 따라서 유의 수준을 지정하고 가설을 수용 또는 거부하는 데 관심이없는 사람들조차도 "매우 중요한"과 같은 문구를 피하는 경향이 있습니다.

Regarding the dependence of p-values on sample size & effect size, perhaps some confusion arises because e.g. it might seem that 474 heads out of 1000 tosses should be less surprising than 2 out of 10 to someone who thinks the coin is fair—after all the sample proportion only deviates a little from 50% in the former case—yet the p-values are about the same. But true or false don't admit of degrees; the p-value's doing what's asked of it: often confidence intervals for a parameter are really what's wanted to assess how precisely an effect's been measured, & the practical or theoretical importance of its estimated magnitude.

Thank you for the comments and suggested readings. I've had some more time to ponder on this problem and I believe I've managed to isolate my main sources of confusion.

• Initially I thought there was a dichotomy between viewing the p-value as a measure of surprise versus stating that it's not an absolute measure. Now I realise these statements don't necessarily contradict each other. The former allows us to be more or less confident in the extremeness (unlikeness even?) of an observed effect, compared to other hypothetical results of the same experiment. Whereas the latter only tells us that what might be considered a convincing p-value in one experiment, might not be impressive at all in another one, e.g. if the sample sizes differ.

• The fact that some fields of science utilise a different baseline of strong p-values, could either be a reflection of the difference in common sample sizes (astronomy, clinical, psychological experiments) and/or an attempt to convey effect size in a p-value. But the latter is an incorrect conflation of the two.

• Significance is a yes/no question based on the alpha that was chosen prior to the experiment. A p-value can therefore not be more significant than another one, since they are either smaller or larger than the chosen significance level. On the other hand, a smaller p-value will be more convincing than a larger one (for a similar sample size/identical experiment, as mentioned in my first point).

• Confidence intervals inherently convey the effect size, making them a nice choice to guard against the issues mentioned above.

The p-value cannot be a measure of surprise because it is only a measure of probability when the null is true. If the null is true then each possible value of p is equally likely. One cannot be surprised at any p-value prior to deciding to reject the null. Once one decides there is an effect then the p-value's meaning vanishes. One merely reports it as a link in a relatively weak inductive chain to justify the rejection, or not, of the null. But if it was rejected it actually no longer has any meaning.