Gelman & Carlin의 이해“비욘드 전력 계산 :…”(2014)

나는 Gelman & Carlin "Beyond Power Calculations : Assessing Type S (Sign) and Type M (Magnitude) Errors" (2014)를 읽고 있습니다. 나는 주요 아이디어, 주요 테이크 웨이를 이해하려고 노력하고 있지만 혼란스러워합니다. 누구든지 본질을 증류시키는 데 도움을 줄 수 있습니까?

종이는 이런 식으로 진행됩니다 (내가 올바르게 이해하면).

심리학의 통계 연구는 종종 작은 샘플로 괴롭 힙니다.
주어진 연구에서 통계적으로 유의미한 결과에 조건부로,
(1) 실제 효과 크기가 심각하게 과대 평가 될 가능성이 높으며
(2) 효과의 부호는 표본 크기가 충분히 크지 않은 한 높은 확률과 반대 일 수 있습니다.
위의 그림은 모집단의 효과 크기를 미리 추측 한 것으로, 그 효과는 일반적으로 작습니다.

내 첫 번째 문제는 왜 조건 통계적으로 유의 한 결과이다? 출판 편견을 반영 하는가? 그러나 그것은 사실이 아닙니다. 그럼 왜?

내 두 번째 문제는 내가 자신을 연구를 할 경우, 내가 사용하고 다른 것보다 내 결과를 처리해야한다 (I 할 수는 빈도 통계, 베이지안 매우 익숙하지 않은)? 예를 들어 데이터 샘플을 가져 와서 모델을 추정하고 관심의 영향과 그에 대한 신뢰에 대한 포인트 추정치를 기록합니다. 이제 결과를 불신해야합니까? 아니면 통계적으로 유의하면 불신해야합니까? 주어진 사전 변경은 어떻게됩니까?

통계 연구의 "생산자"와 (2) 응용 통계 논문의 독자를위한 주요 테이크 아웃은 무엇입니까?

참고 문헌 :

Gelman, Andrew 및 John Carlin. "전력 계산을 넘어서 : 유형 S (부호) 및 유형 M (폭도) 오류 평가." 심리학에 대한 관점 9.6 (2014) : 641-651.

추신 : 나는 여기에 나를위한 새로운 요소가 사전 정보를 포함시키는 것이라고 생각합니다.

— 리차드 하디
소스

보시다시피, 나는 매우 혼란 스러우므로 내 질문이 일관 적이거나 합리적으로 보이지 않을 수 있습니다. 내가 공부하고있는 논문에서 더 이해하기 쉬운 힌트를 주셔서 감사합니다. 문제에 대한 이해가 진행됨에 따라보다 현명한 질문을 제기 할 수 있기를 바랍니다.

— Richard Hardy

그들은 "처음 실험을 마쳤습니다. 결과를 분석하고 중요한 결과를 얻었 습니다 . 성공! 그러나 기다립니다 . 연구가 실제로 제공하는 정보의 양은 얼마입니까?" ? 결과를 얼마나 신뢰해야합니까? "--- 의미가있을 때 어떤 일이 발생하거나 어떤 의미가 있는지 설명합니다. 그들은 그 결과를 사용하여 중요성 이외의 것에 집중하도록 동기를 부여합니다.

— Glen_b-복지 주 모니카

다중 유의성 검정을 실행하고 중요하지 않은 것으로 판명 된 모든 항목을 필터링하는 경우 결과를 불신해야합니다. 이것은 일종의 "게시 편향"이지만 출판물 없이도 몇 개월 또는 몇 년에 걸친 실험 과정에서 한 사람의 실험실 내부에서 발생할 수 있습니다. 모든 사람들 은 어느 정도 그런 일을하므로 상당한 결과에 대한 교육에 대한 교육학적인 관심이 있습니다.

— amoeba는 Reinstate Monica가

@amoeba, OK, 그러나 (가설 적으로) 하나의 모델 만 추정하고 하나의 사전 지정된 매개 변수에만 집중하면 (다중 테스트는 절대로 수행하지 않음) Gelman & Carlin의 결과는 무엇을 바꿀 것입니까? 사전 정보를 포함하는 것은 어떻습니까?

— Richard Hardy

잘못된 발견 률을 평가하려면 사전 정보가 필요합니다. 유의성 검정의 일반적인 논리는 유형 I 오류율 P (signif | null) 만 보장합니다. P (null | signif)를 추정하려면 이전에 호출해야합니다. 그것이 Gelman & Carlin이하고있는 일입니다. 하나의 모델 만 추정하는 경우 "가상 발견 비율"은 의미가 없습니다 (자주 주의적 접근 방식). 그러나 일반적으로 사람들은 많은 모델을 추정합니다 :-) 또는 적어도 많은 모델을 추정하는 다른 사람들로 구성된 문헌을 읽습니다.

— amoeba는 Reinstate Monica가

답변:

나는 신문을 다시 읽고 이번에는 훨씬 더 명확 해 보인다. 이제 @Glen_b 및 @amoeba의 유용한 의견도 많은 의미가 있습니다.

P_{\hat{β}} (\cdot | \hat{β} is statistically significant) \neq P_{\hat{β}} (\cdot) .

$P_{\hat\beta}(\cdot|\hat\beta \text{ is statistically significant})\neq P_{\hat\beta}(\cdot).$

출판 편향 (통계적으로 유의미한 결과 만 출판 됨)
새로운 연구에 대한 설계 계산의 편차 (벤치 마크로 너무 큰 예상 효과 크기를 취함).

좋은 소식은 두 가지 문제를 모두 만족스럽게 해결할 수 있다는 것입니다.

$\beta^{plausible}$ $\hat\beta$ $s.e.(\hat\beta)$ $t$ $P_{\hat\beta}(\cdot)$
$\beta^{plausible}$

내 자신의 두 가지 질문에 간단히 대답하려면 :

데이터 준설의 의미가 아니라 저력 연구의 맥락에서 출판 편향에 관한 것이다. 통계적으로 유의미한 결과가 대안 아래에있는 거부 (예 : null은 true가 아니며 결과는 "정품"입니다.
통계적으로 유의미한 결과가 "정품"효과 (저전력 때문에)가 아니라 우연 (예 : 5 %로 제한되어 있음) 때문일 가능성이 있기 때문에 null을 거부하는 데주의해야합니다. .

— 리차드 하디
소스

Glen_b의 답변 도 매우 유용합니다.

— Richard Hardy

β^{p l a u s i b l e}

$\beta^{plausible}$

D

$D$

@PatrickB. 감사합니다. 조금 후에 살펴 보겠습니다. (나는 이미 당신의 대답을 이미 찬성했던 것을 본다; 그것은 내가 이미 도움이되었다는 것을 의미한다.)

— Richard Hardy

Richard, 저는 Gelman이 정규 분포 하에서 보여주는 것이 아니라보다 일반적인 효과 크기의 경우 유형 "S"및 유형 "M"오류를 추정 하는 R 함수 를 개발 했습니다 . 이전에 통계적으로 유의미한 결과를 바탕으로 간단한 복구 프로세스를 백서에서 읽을 수 있습니다. 그러나 전체 프로세스는 전력 분석을 기반으로합니다. 본질적으로, 작은 잡음이 연구의 SE는 ... 당신이 합리적으로 얻을 수 지정 크기가 크고 경험적으로 검증 그럴듯한 효과에 의해 몇 가지 합리적인 가정입니다

— rnorouzian

... "S"유형의 높은 비율과 높은 과장 률 (예 : 유형 "M")을 피하는 데 필요한 샘플 크기 측면에서 향후 연구에 포함 할 내용을 추정합니다. 레코드의 경우 Gelman의 유형 "S"는 기본 효과 크기 분포에 따라 기본 효과의 반대편에있는 부분을 힘으로 나눈 것입니다. 어쨌든 도움이 될 수있는 경우 기능을 살펴보십시오.

— rnorouzian

이미 베이지안 분석을 적용하고 통계적 유의성 부분에 신경 쓰지 않는 경우 도움이 될 수있는이 백서의 다른 각도가 있습니다.

$P$ $\beta$ $V$ $\beta$

p (β | V) \sim p (V | β) p (β)

$p(\beta | V) \sim p(V | \beta)p(\beta)$

$V$ $V$ $p(V | \beta)$

$\beta^{plausible}$ $P(V | \beta)$ $\beta = \beta^{plausible}$ $V$ $\beta^{plausible}$ 실제 효과 크기입니다.

$V$ $\beta$

$V$ $V$

$\beta$ $\beta^{plausible}$

$\beta^{plausible}$

이 "전력"메트릭을 빈번한 전력 계산과 같은 방식으로 잘못 사용하는 사람은 아무도 없으므로주의해야합니다. 그러나 이러한 모든 지표는 전체 모델링 절차가 베이지안이고 통계적 유의성 결과를 참조하지 않는 경우에도 전향 적 및 후 향적 설계 분석에 매우 유용합니다.

— ely
소스