p- 값과 관련하여 왜 1 %와 5 %입니까? 왜 6 % 또는 10 %가 아닌가?


80

과 관련하여 1 %와 %가 왜 금의 표준으로 보이는지 궁금 합니다 . % 또는 % 와 같은 다른 값이 아닌 이유는 무엇 입니까?5"statistical significance"610

이것에 대한 근본적인 수학적 이유가 있습니까?


2
모든 사람이 12 개의 손가락을 가졌다면? 우리는 10을 기준으로하지 않고 12를 계산합니다. 즉, "1 %"는 1/144 또는 0.0069444444가됩니다.
Contango

답변:


77

아래의 참조를 확인하면 몇 가지 일반적인 요소가 있지만 백그라운드에서 약간의 변형이 있습니다.

이 수치는 적어도 부분적으로 Fisher의 일부 의견에 근거한 것으로

(1/2의 레벨을 논의하는 동안)

편차가 유의한지 여부를 판단 할 때이 점을 제한으로 사용하는 것이 편리합니다. 표준 편차의 두 배를 초과하는 편차는 공식적으로 유의 한 것으로 간주됩니다

Fisher, RA (1925) 연구 종사자를위한 통계적 방법 , p. 47

반면에 그는 때때로 더 광범위했습니다.

20 개 중 1 개가 충분히 높은 확률로 보이지 않는다면 원한다면 50 개 (2 % 포인트) 또는 100 개 (1 % 포인트)로 라인을 그릴 수 있습니다. 개인적으로 작가는 5 % 지점에서 낮은 의미의 표준을 설정하는 것을 선호하며이 수준에 도달하지 못한 모든 결과를 완전히 무시합니다. 과학적 사실은 적절하게 설계된 실험 이 이러한 수준의 의미를 부여 하지 못하는 경우에만 실험적으로 확립 된 것으로 간주해야합니다 .

Fisher, RA (1926) 현장 실험 배열 .
농업부, p. 504

피셔는 자신의 책 테이블 중 하나에 5 %를 사용했지만 다른 테이블의 대부분은 다양한 의미 수준을 가졌습니다.

그의 의견 중 일부는 서로 다른 상황에서 다소 엄격한 (즉, 더 낮거나 높은 알파 수준) 접근 방식을 제안했습니다.

위와 같은 논의는 5 %와 1 %의 중요도 수준 (때로는 10 %, 2 %, 0.5 %와 같은)을 사용하여 다른 '표준'값을 원하는 테이블을 생성하는 경향을 가져 왔습니다.

그러나이 논문 에서 Cowles와 Davis는 Fisher의 의견보다 5 % 또는 그와 비슷한 것을 사용하는 것이 좋습니다.

요컨대, 5 % (및 1 % 이하)를 사용하는 것은 거의 임의의 관습이지만, 많은 사람들이 많은 문제에 대해 올바른 종류의 야구장에 있다고 생각하는 것 같습니다.

특정 값을 일반적으로 사용해야하는 이유는 없습니다 .

추가 참조 :

Dallal, Gerard E. (2012). 통계 연습의 작은 핸드북. - 왜 0.05?

Stephen Stigler (2008 년 12 월). "피셔와 5 % 수준". 기회 21 (4) : 12. 여기에 있습니다

(그들 사이에, 당신은 공정한 배경을 얻습니다. 그들 사이에는 적어도 일반적인 야구장에서 5 %의 의미 수준을 생각하는 좋은 사례가 있습니다. 잠시 동안 공기.)


36

나는 대답이 아닌 대답을해야합니다 ( here 와 동일 ) :

"... 확실히, 하나님은 .06을 .05만큼 거의 사랑합니다. 하나님이 널에 대한 증거의 강도를 p의 크기의 상당히 연속적인 함수로 보는 것은 의심의 여지가 있습니까?" (p.1277)

Rosnow, RL & Rosenthal, R. (1989). 심리 과학의 통계적 절차와 지식의 정당성. 미국 심리학자 , 44 (10), 1276-1284. pdf

이 문서에는이 문제에 대한 추가 토론이 포함되어 있습니다.


9
그리고 0.055는 어떻습니까? :)
nico

33
@nico 아무도 0.055를 좋아하지 않습니다
Fomite

18

5 %에 대한 몇 가지 기본 심리학이 있다고 생각합니다. 나는 이것을 어디서 집어 들었는지 기억하지 못하지만, 모든 저학년 인트로 스탯 클래스와 함께했던 운동이 있습니다.

낯선 사람이 술집에서 당신에게 다가 가서 꼬리보다 더 자주 머리를 생산하는 편향 동전을 가지고 있다고 상상해보십시오. 친구에게서 내기를 걸고 돈을 벌 수 있도록 나에게서 돈을 사고 싶습니까? " 주저없이 살펴보고 동전을 10 번 던지십시오. 질문 : 머리 / 꼬리를 몇 번이나 착륙시켜 편향되어 있는지 확인해야합니까?

그런 다음 손을 보여줍니다. 스플릿이 5/5이면 동전이 바이어스된다고 누가 확신합니까? 4/6? 3/7? 2/8? 1/9? 0/10? 처음 두세 사람은 아무도 설득하지 않으며 마지막 사람은 모두를 설득합니다. 그러나 2/8과 1/9는 대부분의 사람들을 설득합니다. 이제 이항 표를 살펴보면 2/8은 5.5 %이고 1/9는 1 %입니다. QED.

n

또 다른 대답으로 Glen_b 는 Fisher 가 문제의 심각도 에 따라 이러한 마법 번호를 수정해야하는지에 대한 토론을 제공 한다고 인용 하므로 "여동생의 백혈병에 대한 새로운 치료법이 있지만 그녀를 치료할 것입니다" 3 개월이나 3 일 안에 그녀를 죽이면 동전 몇 개를 뒤집어 봅시다. " -Andrew Gelman조차도 그다지 좋아하지 않은 악명 높은 xkcd 만화 처럼 바보 같이 보일 것입니다.

동전과 Gelman에 대해 TAS는 Gelman과 Nolan의 제목에 "당신은 주사위를 넣을 수는 있지만 동전을 치울 수는 없습니다" 라는 매우 호기심 많은 논문을 가지고있었습니다 . 탁상은 약 절반의 시간이 걸리고 다른 시간은 꼬리가 걸리므로 동전을 심각하게 편향시키는 물리적 메커니즘을 생각해 내기가 어렵습니다. (이것은 맥주 병 뚜껑을 실험하면서 술집에서 시작한 연구였습니다.) 반면에, 주사위를 넣는 것은 비교적 쉬운 일이며, 학생들에게 약 1cm / 1/2의 운동을주었습니다. 지역 취미 상점과 샌드페이퍼에서 1 인치 크기의 나무 큐브로 다이를로드하도록 요청하고로드되었음을 증명합니다. 이는 Pearson 의 연습이었습니다.χ2 비율과 그 힘을 테스트합니다.


3
마술사들은 종종 동전 뒤집기를 제어 할 수 있습니다. 통계 학자-수학자-마술사 (미각에 대한 permute) 페르시아 디아 코니스는 이것에 대해 잘 알려져 있습니다.
Nick Cox

@StasK-몇 년 전에 위의 두 번째 단락에있는 것과 비슷한 질문을했습니다. 링크는 다음과 같습니다. stats.stackexchange.com/questions/7036/…
bill_080

빌, 당신은 본질적으로 힘에 대해 물었습니다. 이 질문은 시험의 수준을 다룹니다.
StasK

9

5 %는 Fisher에 의해 4.56 %에서 반올림 된 것으로 보이며, "평균 + 3 또는 마이너스 3 개의 가능한 오류를 초과하는 곡선의 꼬리 영역"에 해당합니다 (Hurlbert & Lombardi, 2009).

이 이야기의 또 다른 요소는 중요한 vlaues가있는 테이블의 재생산 인 것 같습니다 (Pearson et al., 1990; Lehmann, 1993). Fisher는 Pearson이 자신의 테이블을 사용할 수있는 권한을 부여받지 못했습니다 (Pearson의 자체 출판 마케팅 (Hurlbert & Lombardi, 2009) 및 관계의 문제성 때문일 수 있음).

헐버트, SH, & Lombardi, CM (2009, 10 월). Neyman-Pearson 의사 결정 이론 프레임 워크의 최종 붕괴와 신 피셔 인의 등장. Annales Zoologici Fennici (Vol. 46, No. 5, pp. 311-349)에서. 핀란드의 동물 및 식물 출판

EL (Lehmann, EL) (1993). 가설을 검정하는 Fisher, Neyman-Pearson 이론 : 한 가지 이론 또는 두 가지?. 미국 통계 협회 저널, 88 (424), 1242-1249.

Pearson, ES, Gosset, WS, Plackett, RL, & Barnard, GA (1990). 학생 : William Sealy Gosset의 통계 전기. 옥스포드 대학 출판부, 미국.

참고 : Gigerenzer, G. (2004). 무의미한 통계. 사회 경제학 저널, 33 (5), 587-606.

Hubbard, R. 및 Lindsay, RM (2008). P 값이 통계적 유의성 테스트에서 유용한 증거 측정 방법이 아닌 이유 이론과 심리학, 18 (1), 69-88.


7

대답은 통계보다 게임 연구 이론에 더 가깝습니다. 일반적인 의식에 1 %와 5 %의 화상을 입었다는 것은 연구자들이 자신의 소인에 맞는 유의 수준을 효과적으로 자유롭게 선택할 수 없다는 것을 의미합니다. p- 값이 .055 인 종이를보고 유의 수준이 6 %로 설정된 경우 질문을합니다. 1 %와 5 %는 신뢰할 수있는 약속의 형태를 제공합니다.


7
아마도, 그러나 당신은 연구원들이 회귀를 조작하지 않거나 반복 된 테스트 등을 사용하여 예를 들어 정해진 5 % 수준에서 짜 내지 않는다고 생각합니까?
kirk

물론 가능하고 아마 일어날 수 있습니다. 그러나 질문은 약 1 %와 5 %였습니다. 중요한 것을 받아 들일 때 사회적 협약을 수립하려는 시도 인 것 같습니다. 이들은 임의적이지만 개별 연구원에게는 임의적 인 것이 아니라 그룹으로서 연구원에게 임의적입니다.
추측

3
동의, 나는 단지 당신이 당신의 게시물에서 유추했듯이, 기존의 유의 수준을 가졌다 고해서 질문을해서는 안된다는 것을 의미한다고 지적했습니다. 종이가 기존 수준에서 중요한 결과를 제공한다고해서 그것이 믿을 만하다는 것을 의미하지는 않습니다!
kirk

아, 나는 게임 이론 (또는 시도)의 관점에서 신뢰할만한 것을 사용하고 있었다. 당신이 다시 위협하거나 나중에 마음을 바꿀 수있는 것이 아니라면 당신은 위협을 신뢰할 수있게 만듭니다. 이 경우 개별 연구자들은 다른 임의의 임계 값을 결정하는 데 어려움을 겪을 것입니다.
추측 :


6

내 개인적인 가설은 0.05 (또는 20 중 1)가 at / z 값 (매우 가깝습니다) 2와 관련이 있다는 것입니다. 결과가 통계적으로 유의하면 2를 사용하는 것이 매우 쉽습니다. 둥근 숫자의 다른 합류는 없습니다.


7
Z=1Z=3

9
1/31/201/4001/16000z=1,2,3,4

1
:) 흠 ... 좋은 지적. 그러나 컷오프로 사용하는 것에 제한을 두어야합니다. 1/3은 약간 느슨하고 1/400은 터치 엄격합니다.
Jeremy Miles

10
그것이 바로 내가 얻는 것입니다. Jeremy : 5 %와 1 %의 전통은 적어도 부분적으로 통계적 위험 개념 ( "약간 여유"또는 "엄격한 엄격 성")에 기초하며 원래는 아닙니다. 편리한 경험 법칙에서 파생됩니다.
whuber

1
Z=11/π

6

올바른 숫자는 .04284731입니다.

.... 05의 선택은 본질적으로 임의적이라는 것을 의미하는 플립 팬트 응답입니다. 나는 일반적으로 p 값이 크거나 작은 것이 아니라 p 값을보고합니다.

"의의"는 연속적인 변수이며, 제 생각에이 수치를 구분하는 것이 종종 선보다 더 해가됩니다. p = .13이면 p = .21보다 더 자신감이 있고 p = .003보다 더 자신감이있는 것입니다.


글쎄, 테이블 시대에는 테이블을 가르치는 데 사용되었으므로 계속해서 이산화해야했습니다 ...
kjetil b halvorsen

@kjetilbhalvorsen은 테이블 제조업체가 임계 값으로 .04284731을 선택하지 않았 음을 분명히 알았습니다.
generic_user

2

이것은 항상 나를 매혹시키는 가설 테스트 영역입니다. 언젠가 누군가가 테스트 절차를 이분법 화하는 임의의 숫자를 결정했기 때문에 사람들은 거의 질문하지 않습니다.

강사에게 장비 변수에 대한 Staiger 및 Stock 테스트에 너무 많은 믿음을 두지 말라고 기억합니다 (악기 문제를 피하기 위해 첫 단계 회귀에서 F-stat가 10 이상이어야 함). 완전히 임의의 선택. "하지만 우리가 정기적 인 가설 테스트로하는 것이 아니라고 생각합니까?"


5
이것은 @EconStats에 대한 답변입니까? 댓글처럼 보입니다. CV는 토론 포럼이 아닙니다. 당신이 만드는시겠습니까 답을 더 두드러진 / 난이 게시물 승?
gung

1
@gung 죄송합니다. 내 요점은 다른 사용자가 제공 한 일부 증거에도 불구하고 여전히 가장 가능성이 높은 대답은 우리가 소수 기반의 숫자 체계를 가지고 있으며 오늘날에도 가설 검정을 위해 임의의 숫자를 제시하는 데 사용된다는 것입니다. 예를 들어 내가 언급 한 Staiger와 Stock F-test.
EconStats

1
이 질문의 원래 포스터로서, 나는 이것이 분명히 대답이라고 생각합니다. 감사!
Contango

0

왜 1과 5입니까? 그들이 옳다고 느끼기 때문입니다.

나는 특정 숫자의 정서적 가치와인지 적 중요성에 대한 연구가 있다고 확신하지만 연구에 의지하지 않고도 1과 5의 선택을 이해할 수 있습니다.

오늘의 통계를 만든 사람들은 10 진 세계에서 태어나고 자랐습니다. 물론 10 진수가 아닌 계산 시스템이 있으며 지골을 사용하여 12까지 계산하는 것이 가능하고 이루어졌지만 손가락을 사용하는 것과 같은 방식으로 명확하지 않습니다 (따라서 숫자와 같이 "숫자"라고 함) ). 그리고 귀하 (및 Fisher)는 비소수 계수 시스템에 대해 알고 있지만 십진법은 지난 수백 년 동안 귀하의 (그리고 Fisher의 세계)의 주요 계수 시스템이었으며 지금까지 계속되었습니다.

그런데 왜 숫자 5와 1이 특별한가요? 둘 다 기본 열의 가장 자연스럽게 구분되는 부분이기 때문에 : 한 손가락, 한 손 (또는 : 반).

분수를 개념화하여 10에서 1, 5까지 도달하지 않아도됩니다. 손가락이있는 것처럼 손가락이있는 것입니다. 그리고 무언가를 반으로 줄이면 다른 비율로 나누는 것보다 훨씬 간단합니다. 어떤 것을 두 부분으로 자르는 것은 생각할 필요가 없지만, 3-4로 나누는 것은 이미 매우 복잡합니다.

대부분의 현재 통화 시스템에는 1, 2, 5, 10, 20, 50, 100, 200, 500, 1000과 같은 값을 가진 동전과 지폐가 있습니다. 일부 통화 시스템에는 2, 20 및 200이 없지만 거의 모든 통화는 시작합니다 동시에 대부분의 통화 시스템 은 그렇지 않습니다. 3, 4, 6, 7, 8 또는 9 흥미에서 시작 동전이나 지폐를 가지고, 그렇지? 그러나 왜 그렇습니까?

다음 큰 주문에 도달하려면 항상 1 개 중 10 개 또는 5 개 중 2 개 (또는 2 개 중 5 개)가 필요하기 때문입니다. 돈으로 계산하는 것은 매우 간단합니다 : 10 배 또는 2 배. 단지 두 종류의 작업입니다. 당신이 가진 모든 동전은 다음 주문 동전의 절반 또는 10 분의 1입니다. 이 숫자는 곱해서 쉽고 합산합니다.

따라서 1과 5는 가장 어린 시절부터 Fisher까지 깊이 뿌리 내리고 있으며 그 밖의 다른 사람들은 10을 가장 간단하고 가장 단순하고 가장 기본적인 부분으로 중요성 수준을 선택했습니다. 숫자는 단순히 거기에 있습니다.

모든 개별 데이터 세트에 대해 적절한 유의 수준을 계산하는 객관적인 방법이 없다면, 1과 5는 옳은 느낌입니다.


"연구에 의지하지 않고." 나는 대답이 훌륭하다고 생각하지만, 이것은 의견 영역에 확실하게 들어갑니다. 그것은 많은 신뢰성을 빌려줄 것이며 이것을 뒷받침 할 출처가 있다면 대답을 더 권위있게 만들 것입니다.
Momo
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.