대규모 데이터 세트에 대한 유의 수준을 선택하는 방법은 무엇입니까?

N이 약 200,000 인 데이터 세트로 작업하고 있습니다. 회귀에서, 매우 작은 효과 크기와 관련된 매우 작은 유의성 값 << 0.001, 예를 들어 r = 0.028을보고 있습니다. 내가 알고 싶은 것은 표본 크기와 관련하여 적절한 유의성 임계 값을 결정하는 원칙적인 방법이 있습니까? 이러한 큰 샘플로 효과 크기를 해석 할 때 고려해야 할 다른 중요한 사항이 있습니까?

— 테드 스트라우스
소스

이것은 실제 대 통계적 중요성의 문제입니다. 기울기가 0과 다르면 (예 : .00000000000001) 아주 작은 양이라도 충분한 의미가없는 결과에도 불구하고 충분히 큰 샘플은 매우 작은 값을 생성합니다 . 표본 크기가 큰 경우 값 보다는 점 추정치를 더 잘 해석해야 합니다.

p

$p$

p

$p$

— 매크로

@ 매크로 죄송합니다. 포인트 추정치의 의미를 명확하게 설명해 주시겠습니까?

— ted.strauss

위의 매크로 의견에 덧붙여이 상황에서 나는 발견에서 "실용적"또는 "임상 적"의미를 찾는다. 당신이하고있는 일에 대해, 당신이 돌보는 데 충분한 효과가 있습니까?

— Michelle

점 추정치는 관측 된 회귀 기울기 추정치입니다.

— 매크로

@ 매크로와 제가 말하는 것은 임상 효과 (점 추정치, 기울기)가 중요한지 결정해야한다는 것입니다. 귀하의 역치는 대부분의 p- 값이 모두 중요하기 때문에 "예, 이것이 중요한 p- 값"이 아니라 "임상적인 임상 효과"를 결정하는 것에 기초합니다.

— Michelle

답변:

에서 의미 테스트의 무의미 , (1999) 존슨은, 충분한 데이터를 수집 귀무 가설을 가정하여 원하는대로 거의 항상 false로, 작은로 만들 수 있다는 점에서 그 P-값은 임의입니다 지적했다. 실제 세계에서는 정확히 0 인 반-부분 상관 관계가 없을 가능성이 있으며, 이는 회귀 계수의 중요성을 검정하는 귀무 가설입니다. P- 값 유의성 컷오프는 훨씬 임의적입니다. 중요성과 비 의미 사이의 컷오프 인 .05의 값은 원칙이 아닌 규칙에 따라 사용됩니다. 따라서 첫 번째 질문에 대한 답은 '아니오'입니다. 적절한 유의성 임계 값을 결정하는 원칙적인 방법은 없습니다.

대규모 데이터 세트를 고려할 때 무엇을 할 수 있습니까? 회귀 계수의 통계적 유의성을 탐색 한 이유에 따라 다릅니다. 복잡한 다중 요인 시스템을 모델링하고 현실에 합리적으로 적합하거나 예측하는 유용한 이론을 개발하려고하십니까? 그렇다면 Rodgers (2010), 수학 및 통계 모델링의 인식론에 설명 된대로보다 정교한 모델을 개발하고 모델링 관점을 고려할 수 있습니다. 많은 양의 데이터를 보유 할 경우 얻을 수있는 장점 중 하나는 다양한 수준과 흥미로운 상호 작용이있는 매우 다양한 모델을 탐색 할 수 있다는 것입니다 (변수가 있다고 가정).

반면에 특정 계수를 통계적으로 유의 한 것으로 취급할지 여부에 대한 판단을하려면 Woolley (2003)에 요약 된 Good 's (1982) 제안을 고려할 수 있습니다 .q- 값 계산 같은 p- 값을 100의 표본 크기로 표준화하는 . 정확히 .001의 p- 값은 통계적으로 유의미한 p.045의 p- 값으로 변환됩니다. $p\cdot\sqrt{(n/100)}$

따라서 임의의 임계 값이나 다른 임계 값을 사용하는 것이 중요하다면 무엇입니까? 이것이 관측 연구라면 모델을 잘못 지정했기 때문에 나타나는 가짜 관계가 아니라 생각하는 방식으로 실제로 의미가 있다는 것을 정당화하기 위해 훨씬 더 많은 노력이 필요합니다. 작은 효과는 치료 효과가 아닌 다른 수준의 치료를 선택하는 사람들 사이에 기존의 차이를 나타내는 경우 임상 적으로 그리 흥미롭지 않습니다.

댓글 작성자가 언급했듯이,보고있는 관계가 실제로 중요한지 여부를 고려해야합니다. 설명 된 분산에 대해 에서 로 인용 한 그림을 변환하면 ( 은 상관 관계이며, 설명을 얻기 위해 제곱합니다) 각각 3 및 6 %의 분산을 설명하지만별로별로 보이지 않습니다. $r$ $r^2$ $r$

— 앤 Z.
소스

@ rolando2 편집 주셔서 감사합니다, 항상 큰 / 작은 p 값 사이에 혼란스러워! 분포의 오른쪽에서 벗어나면 크지 만 p- 값은 작습니다.

— Anne Z.

(+1) 이것은 많은 실무자들이주의 깊게 생각하지 않는 중요한 사실입니다. "p- 값은 임의적입니다. 널 가설이 거짓이라고 가정 할 때 충분한 데이터를 수집하여 원하는만큼 작게 만들 수 있다는 점입니다. 거의 항상 그렇습니다. "

— 매크로

감사합니다! 두 번째 단락의 요점은 잘 이해됩니다. Woolley 기사를 읽고 귀하의 q 값 수식이 꺼져있는 것으로 나타났습니다. p *가 아니라 p * 여야합니다. 여기서 변경하려고했지만 편집은> 6 자 여야합니다.

— ted.strauss

@ ted.strauss 도움이 되서 다행입니다. 때때로 우리가 작업해야하는 p- 값과 같은 도구의 한계 때문에 낙담 한 느낌이 듭니다. 수식의 실수를 지적 해 주셔서 감사합니다.

— Anne Z.

훌륭한 답변에 감사드립니다. 그러나 위에 제공된 링크를 사용하여 종이 Woolley 2003에 액세스 할 수 없습니다.

— KarthikS

-3

쉽게 확인할 수있는 방법은 하나의 분포라는 두 배로 비슷한 수를 무작위로 샘플링하고 두 결과를 비교하는 것입니다. 여러 번 수행하고 유사한 p- 값을 관찰하면 실제 효과가 없음을 나타냅니다. 반면에 그렇지 않다면 아마도있을 것입니다.

— 라스 코토 프
소스

큰 표본 크기와

보면서 실제 차이가 없다는 귀무 가설 하에서 시뮬레이션을 제안한다고 생각합니다 . 시뮬레이션을 수행하지 않고도 결과

의

비율 이 원래 포스터가 관찰 한 것보다 작을 것임을 알 수 있습니다. 이것은 모든 샘플 크기에 해당됩니다. 이것이

값 의 정의입니다 .

p

$p$

< .001

$<.001$

p

$p$

p

$p$

— 매크로

실제로, 설명 된 프로세스에서 나오는

은

분포를 갖습니다 .

p

$p$

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$

— 매크로

@Macro의 마지막 주석과 관련하여, 귀무 가설

에서

값에

분포 가 있다는 증거의 스케치가 있습니다. 검정 통계량

주어지면,

관찰 하면

값은

됩니다.

하에서

H_{0}

$H_0$

p

$p$

U [0, 1]

$U[0,1]$

T = T (X)

$T=T(X)$

t = t (x)

$t=t(x)$

p

$p$

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$

H_{0}

$H_0$

T

$T$

G_{0}

$G_0$

G_{0}

$G_0$

G_{0}^{- 1}

$G_0^{-1}$

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$

u \in [0, 1]

$u\in[0,1]$

P (p (T) \leq u) = P (1 - G_{0} (T) \leq u) = P (G_{0} (T) \geq 1 - u) = P (T \geq G_{0}^{- 1} (1 - u)) = 1 - G_{0} (G_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$ Hence, we conclude that

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$ .

— whuber