Fisher와 Neyman-Pearson 간의 "하이브리드"가 통계 테스트에 대한 접근 방식이 실제로 "일관되지 않은 혼란"입니까?

통계 테스트에 대한 가장 광범위한 접근 방식은 두 가지 접근 방식, 즉 Fisher와 Neyman-Pearson의 접근 방식 사이에서 "하이브리드"라는 특정 사고 방식이 있습니다. 이 두 가지 접근법은 "호환되지 않는다"고 주장하기 때문에 결과 "하이브리드"는 "일관되지 않은 혼란"이다. 아래에 참고 문헌과 인용문을 제공 하겠지만 통계적 가설 검정 에 대한 위키피디아 기사에 그 내용에 대해 많이 언급되어 있다고해도 충분합니다 . CV에서이 지점은 @Michael Lew ( 여기 및 여기 참조)에 의해 반복적으로 작성되었습니다 .

내 질문은 : 왜 F와 NP 접근법이 호환되지 않는다고 주장하고 하이브리드가 왜 일관성이 없다고 주장합니까? 필자는 최소 6 개의 하이브리드 용지를 읽었지만 (아래 참조) 여전히 문제 나 주장을 이해하지 못합니다. 또한 F 나 NP가 더 나은 접근법인지에 대해서는 논의 할 것을 제안하지 않습니다. 베이직주의와 베이 즈 프레임 워크에 대한 논의도 제안하지 않았다. 대신에 F와 NP가 모두 유효하고 의미있는 접근법이라는 사실을 받아들이는 것은 하이브리드에 대해 무엇이 나쁜가?

상황을 이해하는 방법은 다음과 같습니다. Fisher의 접근법은 값 을 계산 하여 귀무 가설에 대한 증거로 사용하는 것입니다. p가 작을수록 증거가 더 설득력이 있습니다. 연구원은이 증거를 그의 배경 지식과 결합하고, 그것이 충분히 설득력이 있는지를 결정 하고, 그에 따라 진행해야합니다. (피셔의 견해는 수년에 걸쳐 바뀌었지만, 이것이 그가 수렴 한 것으로 보입니다.) 반면에, Neyman-Pearson 접근법은 사전에 α 를 선택한 다음 p ≤ α 인지 확인하는 것입니다.$p$$p$$\alpha$$p\le\alpha$; 그렇다면 중요한 것으로 간주하고 귀무 가설을 기각하십시오 (여기서는 현재 논의와 관련이없는 NP 스토리의 대부분을 생략합니다). Fisher 및 Neyman-Pearson 프레임 워크 를 언제 사용해야합니까? 에서 @gung의 훌륭한 답변도 참조하십시오 .

하이브리드 접근 방식은 값 을 계산하고 이를보고 (암시 적으로 작을수록 더 좋다고 가정)하고 p ≤ α (보통 α = 0.05 ) 이면 중요 하고 그렇지 않은 경우 결과를 호출하는 것 입니다. 이것은 일관성이 없어야합니다. 두 가지 유효한 일을 동시에하는 것이 어떻게 무효가 될 수 있습니까?$p$$p\le\alpha$$\alpha=0.05$

특히 모순으로 방지 hybridists는보고의 광범위한 연습 볼 같은 -values P < 0.05 , P < 0.01 또는 P < 0.001 (또는 P는 « 0.0001 항상 강한 불평등이 선택된다). (a) 정확한 p 가보고 되지 않았기 때문에 증거의 강도를 올바르게 평가할 수 없으며 , (b) 불평등의 오른손 수를 α 로 해석하여 제 1 종 오류율로 보는 경향이있는 것으로 보인다 그리고 그것은 잘못입니다. 나는 여기서 큰 문제를 보지 못한다. 먼저 정확한 p 보고$p$$p<0.05$$p<0.01$$p<0.001$$p\ll0.0001$$p$$\alpha$$p$확실히 더 나은 방법이지만 가 0.02 또는 0.03 인 경우 아무도 신경 쓰지 않으므로 로그 스케일에서 반올림하는 것은 그리 좋지 않습니다 ( 약 0.0001 이하로 내려가는 것은 의미가 없습니다. 작은 p- 값을보고 해야하는 방법 참조) ? ). 둘째, 합의가 0.05 이하의 모든 것을 호출한다면 가설 검정에서 p- 값 해석 에서 @gung이 설명하는 것처럼 오류율 은 α = 0.05 및 p ≠ α 가됩니다.$p$$0.02$$0.03$$\sim 0.0001$$0.05$$\alpha=0.05$$p \ne \alpha$. 이것은 잠재적으로 혼란스러운 문제이지만 통계 테스트 (하이브리드 외부)의 다른 문제보다 더 혼란스럽지 않습니다. 또한 모든 독자는 하이브리드 논문을 읽을 때 자신이 선호하는 를 염두에두고 결과적으로 자신의 오류율을 가질 수 있습니다 . 그래서 큰 문제는 무엇입니까?$\alpha$

내가이 질문을하고 싶은 이유 중 하나는 통계 가설 테스트 에 대한 위키 백과 기사 중 얼마나 많은 양의 하이브리드를 다루는 지를 보는 것이 실제로 아프기 때문 입니다. Halpin & Stam에 따르면, 특정 Lindquist가 책임을 져야한다고 주장합니다 (노란색으로 강조 표시된 "오류"와 함께 그의 교과서에 대한 많은 스캔이 있음). 물론 Lindquist 자신에 대한 위키 기사 는 동일한 고발로 시작됩니다. 그러나 어쩌면 뭔가 빠진 것일 수도 있습니다.

참고 문헌

• Gigerenzer 1993, 초자아, 자아, 통계 추론의 ID가 - 용어는 "하이브리드"를 소개하고 "조리 뒤범벅"라고 불렀다

  • Gigerenzer 등의 최근 설명 : 예 : Mindless statistics (2004) 및 Null Ritual. 유의성 테스트에 대해 항상 알고 싶었지만 물어 보는 것을 두려워했습니다 (2004).

• $p<.05$

• Goodman, 1999, 증거 기반 의료 통계를 향하여. 1 : P 값 오류

• $p$$\alpha$

• Halpin & Stam, 2006 년, 귀납적 추론 또는 귀납적 행동 : Fisher and Neyman-Pearson이 심리학 연구에서 통계적 시험에 접근하는 방법 (1940-1960) [등록 후 무료]- "하이브리드"접근 방식을 도입 한 Lindquist의 1940 교과서

• @Michael Lew, 2006, 약리학 및 기타 기본 생의학 분야의 나쁜 통계 관행 : P를 모르는 경우 - 좋은 검토 및 개요

인용 부호

Gigerenzer : 심리학에서 추론 통계로 제도화 된 것은 어부의 통계가 아닙니다. 한편으로는 Fisher의 일부 아이디어와 다른 한편으로는 Neyman과 ES Pearson의 일부 아이디어가 일관되지 않습니다. 이 혼합을 통계적 추론의 "하이브리드 논리"라고합니다.

Goodman : [Neyman-Pearson] 가설 검정 접근법은 과학자들에게 Faustian 특가를 제공했습니다. 장기적으로 잘못된 결론의 수를 제한하는 자동적 인 방법이지만, 증거 [la Fisher]를 측정하고 평가하는 능력을 포기함으로써 만 가능합니다 단일 실험에서 진실.

$p$$\alpha$$p$Neyman-Pearson 가설 검정이 포함되었습니다. [...] 예를 들어 Gibbons와 Pratt [...]는 다음과 같이 잘못 언급했습니다. "정확한 또는 간격 내에서 P- 값을보고하면 각 개인이 최대 허용 가능한 확률로 자신의 유의 수준을 선택할 수 있습니다 "I 형 오류가 발생했습니다."

Halpin & Stam : Lindquist의 1940 년 텍스트는 Fisher와 Neyman-Pearson 접근법의 하이브리드 화의 원천이었습니다. [...] 통계 테스트의 특정 해석을 고수하기보다는 심리학자들은 Fisher와 Neyman-Pearson 논쟁으로 인해 발생하는 개념적 어려움에 대해 모호한 태도를 보였으며 실제로는 거의 인식하지 못했습니다.

Lew : 우리가 가진 것은 오류율을 통제하거나 증거의 강도를 평가할 수없는 하이브리드 접근법입니다.

나는 당신이 부지런히 모은 논문, 기사, 게시물 등이 두 가지 접근 방식이 다른 이유와 위치에 대한 충분한 정보와 분석을 담고 있다고 생각합니다. 그러나 다르다는 것이 양립 할 수 없다는 것을 의미하지는 않습니다 .

"하이브리드 (hybrid)"의 문제는 그것이 하이브리드가 아니라 합성 이라는 것입니다. 이것이 단어 플레이를 핑계하면 많은 사람들이 하이 브리 로 취급하는 이유 입니다.
종합적이지 않기 때문에 두 가지 접근법의 차이점을 결합하려고 시도하지 않으며 통합적이고 내부적으로 일관된 접근법을 만들거나 매우 복잡한 문제를보다 효과적으로 처리하기 위해 과학적 무기고에서 보완 적 대안으로 두 가지 접근법을 유지하지 않습니다. 우리는 통계를 통해 분석하려고합니다 (감사하게도,이 마지막 일은 다른 위대한 내전, 빈번한 바이에른 전쟁으로 일어나는 것 같습니다).

이에 대한 불만 은 통계 도구 를 적용 하고 통계 결과를 해석하는 데 실제로 오해가 생겼으며 , 주로 통계학자가 아닌 과학자 , 아마도 매우 심각하고 해로운 영향을 미칠 수있는 오해 (현장에 대한 생각)에서 비롯된 사실에 기인 합니다 의약은 문제에 적절한 극적인 톤을주는 데 도움이됩니다). 이 오용은 사실로 널리 받아 들여지고 있으며, 그런 의미에서 "하이브리드"관점은 널리 퍼져있는 것으로 간주 될 수 있습니다 (적어도 방법 론적 문제가 아니라면 그 결과로 인해).

$p$

하이브리드 내가 그런 쉬운 대답은 하나의 접근 방식은 (다른보고보다 더 적합되는 현실 세계의 현상이 있었다, 그 존재하지 않는다는 실현에서, 생각, 부상 이 게시물 에서 나에 따라, 이러한 예 : 적어도 어부의 접근 방식이 더 적합한 것으로 보인다). 그러나이 두 가지를 "분리되고 행동 할 준비가되어있는"상태로 유지하는 대신, 그들은 함께 불필요하게 패치되었습니다.

나는이 "보완적인 대안"접근법을 요약 한 출처를 제공한다 : Spanos, A. (1999). 확률 이론 및 통계적 추론 : 관측 데이터를 사용한 계량 경제학 모델링. 케임브리지 대학 출판부. , ch. 14 , 특히 14.5 절에서 , 두 가지 접근법을 공식적이고 명확하게 제시 한 후 저자는 차이점을 명확하게 지적하고 보완 적 대안으로 간주 될 수 있다고 주장한다.

내 질문에 대한 내 자신의 취지는 하이브리드 (즉, 허용 된) 접근 방식에 특별히 일관성이 없다는 것입니다. 그러나 반 하이브리드 논문에 제시된 주장의 타당성을 이해하지 못하는지 확실치 않았기 때문에이 논문과 함께 발표 된 내용을보고 기뻤습니다.

• Hubbard & Bayarri, 2003, 고전 통계 테스트에서 증거 (p 's) 대 오류 (α) 측정에 대한 혼동

안타깝게도 토론으로 게시 된 두 개의 회신은 별도의 기사 형식이 아니므로 제대로 인용 할 수 없습니다. 아직도, 나는 둘 다에서 인용하고 싶습니다 :

Berk : 섹션 2와 3의 주제는 Fisher가 Neyman과 Pearson의 작업을 좋아하지 않으며, Neyman이 Fisher의 작업을 좋아하지 않았기 때문에 두 가지 접근 방식을 결합한 작업을 수행해서는 안됩니다. 여기서 전제를 탈출하지는 않지만 추론은 나를 피합니다.

칼튼 :저자들은 대부분의 혼란이 어부와 네이 만-피어슨 사상의 결혼에서 비롯되었다고 주장하며, 그러한 결혼은 현대 통계 학자들에게는 치명적인 오류라고 주장했다. 유형 I 오류는 동일한 유니버스에 공존 할 수 없습니다. 저자가 동일한 문장에서 "p value"와 "Type I error"를 말할 수없는 실질적인 이유를 제시했는지는 확실하지 않습니다. [...] 그들의 [F와 NP] 비 호환성에 대한 "사실"은 기사를 읽는 수천 명의 유자격 통계 전문가들에게 확신 할 수있는 놀라운 소식입니다. 저자들은 통계 학자들이이 두 가지 생각을 이혼해야하는 이유 가운데 피셔와 네이 먼이 서로를 (혹은 서로를) 좋아하지 않았기 때문에 테스트에 대한 철학). 필자는 항상 현재의 관행을 보았는데, 이는 Fisher와 Neyman의 철학을 통합하고 P 값과 Type I 오류에 대해 논의 할 수있게합니다.

두 답변 모두 읽을 가치가 있습니다. 나에게 설득력 소리가 나지 않는다 원래 저자에 의해 답변도 있습니다 모두가 .

이 훌륭한 질문에 대한 실제 반응에는 전체 길이의 논문이 필요할 것 같습니다. 그러나 다음은 질문이나 현재 답변에없는 몇 가지 사항입니다.

1. 오류율은 절차에 '포함'되지만 증거는 실험 결과에 '포함'됩니다. 따라서 순차적 중지 규칙이있는 다단계 절차를 사용하면 귀무 가설에 대해서는 매우 강력한 증거가 있지만 유의 한 가설 검정 결과는 얻을 수 없습니다. 이는 강력한 비 호환성으로 생각할 수 있습니다.

2. 비 호환성에 관심이 있다면 근본적인 철학에 관심을 가져야합니다. 철학적 어려움은 우도 원칙 준수와 반복 샘플링 원칙 준수 중에서 선택하는 것에서 비롯됩니다. LP는 통계 모델을 고려할 때 관심 모수와 관련된 데이터 세트의 증거가 관련 가능성 함수에 완전히 포함되어 있다고 말합니다. RSP는 장기적으로 공칭 값과 같은 오류율을 나타내는 테스트를 선호해야한다고 말합니다.

두 접근 방식 사이에서 흔히 볼 수있는 (그리고 아마도 받아 들여지는) 연합 (또는 더 나은 : "하이브리드")은 다음과 같습니다.

1. $\alpha$
2. $H_o: \mu = 0$$H_1: \mu \ne 0$

3. $\alpha$

   $\alpha$

   • $H_o$
   • $H_o$$H_1$
   • $100\% \cdot (1-\alpha)$$H_1$

   p 값이 충분히 작지 않으면

   • $H_o$
   • $H_o$$H_1$

Neyman-Pearson의 측면은 다음과 같습니다.

• 당신은 뭔가를 결정
• $H_o$
• 타입 I 오류율을 알고 있습니다

어부 측면은 다음과 같습니다.

• p 값을 명시합니다. 따라서 모든 독자는 의사 결정에 자체 수준을 사용할 수 있습니다 (예 : 여러 테스트를 엄격하게 수정).
• 기본적으로 대안은 단지 반대이기 때문에 귀무 가설 만 필요합니다.
• $\mu \ne 0$

추가

Fisher 's, NP 's 또는이 하이브리드 방식의 철학적 문제에 대한 논의를 알고있는 것이 좋지만 (일부 사람들이 거의 종교적으로 열광적으로 가르치는) 통계와 관련하여 훨씬 더 많은 관련 문제가 있습니다.

• 유익하지 않은 질문하기 (정량적 인 "얼마나 많은"질문 대신 이진 예 / 아니오 질문과 같이, 즉 신뢰 구간 대신 테스트 사용)
• 편향된 결과 (단계별 회귀, 테스트 가정 등)로 이어지는 데이터 기반 분석 방법
• 잘못된 테스트 또는 방법 선택
• 잘못된 결과 해석
• 비 랜덤 샘플에 대한 클래식 통계 사용

F와 NP가 모두 타당하고 의미있는 접근법이라는 점을 받아들이면 하이브리드에 대해 무엇이 나쁜가?

짧은 대답 : 문맥에 관계없이 nil (차이, 상관 없음) 귀무 가설 사용. 그 밖의 모든 것은 프로세스가 달성 할 수있는 것에 대해 스스로 신화를 만든 사람들에 의한 "오용"입니다. 신화는 당국이 문제에 적용 할 수없는 권위와 합의 휴리스틱 스에 대한 (때로는 적절한) 신뢰의 사용을 조정하려고 시도하는 사람들로부터 나온다.

내가 아는 한 Gerd Gigerenzer는 "하이브리드"라는 용어를 생각해 냈습니다.

필자 (저는 저명한 통계 교과서 저자, 저서가 많은 판을 썼고 이름이 중요하지 않은 저자)에게 왜 베이 즈에 관한 장과 이후의 모든 판에서 무고한 문장을 제거했는지 물었다. “툴박스가 아닌 단 하나의 망치 만있는 것처럼 통계를 제공하게 된 이유는 무엇입니까? 왜 피셔와 네이 먼-피어슨의 이론을 모든 괜찮은 통계학자가 거부 할 수있는 일관되지 않은 하이브리드로 혼합 했습니까?”

그의 말에 따르면 필자는 저자가 단 하나의 도구가 있다는 착각을 일으켰다는 것을 부인하려하지 않았다고 말해야한다. 그러나 그는 이것을 비난 할 사람을 알려주었습니다. 동료 연구원, 대학 행정부, 출판사 등 세 가지 범인이있었습니다. 그는 대부분의 연구자들은 통계적 사고에 관심이 없지만 논문을 출판하는 방법에만 관심이 있다고 주장했다.

영 의식 :

1. "평균 차이 없음"또는 "제로 상관 관계"에 대한 통계적 귀무 가설을 설정하십시오. 연구 가설 또는 다른 실질적인 가설의 예측을 지정하지 마십시오.

2. $p < 0.05$$p < 0.01$$p < 0.001$$p$

3. 항상이 절차를 수행하십시오.

G, Gigerenzer (2004 년 11 월). " 마음이없는 통계 ". 사회 경제학 저널 33 (5) : 587–606. doi : 10.1016 / j.socec.2004.09.033.

편집 : 우리는 항상 언급해야합니다. "하이브리드"는 너무 미끄러 우며 정의가 잘못되어 있기 때문에 p-값을 얻기 위해 nil null을 사용하면 다른 샘플 크기에서 주어진 효과 크기를 비교하는 방법으로 완벽하게 좋습니다. 문제를 일으키는 것은 "테스트"측면입니다.

편집 2 : @amoeba p- 값은 요약 통계량으로 적합 할 수 있습니다.이 경우 Null null 가설은 임의의 랜드 마크입니다 : http://arxiv.org/abs/1311.0081 . 그러나 결론을 내리거나 결정을 내리려고하면 (즉, 귀무 가설을 "테스트") 이해가되지 않습니다. 두 그룹 비교 예에서, 우리는 두 그룹이 어떻게 다른지 그리고 그 크기와 유형의 차이에 대한 다양한 가능한 설명을 알고 싶습니다.

p 값은 차이의 크기를 알려주는 요약 통계로 사용할 수 있습니다. 그러나이 차이를 제로 차이를 "반증 / 거부"하는 데 사용할 수는 없습니다. 또한 한 시점에서 생물의 평균 측정 값을 비교하는 이러한 연구 디자인 중 많은 부분이 잘못 인도 된 것으로 생각합니다. 우리는 시간이 지남에 따라 시스템의 개별 인스턴스가 어떻게 변하는 지 관찰 한 다음 관찰 된 패턴을 설명하는 프로세스 (그룹 차이 포함)를 생각해 내야합니다.

본인보다 전문 지식이 많은 사람이 답변을 제공 한 것으로 보았지만 답변에 무언가를 추가 할 가능성이 있으므로 다른 평신도의 관점으로 제공하겠습니다.

하이브리드 접근 방식이 일관성이 없습니까?   나는 그것이 연구원이 처음 시작한 규칙, 특히 알파 값의 설정에 영향을 미치는 예 / 아니오 규칙과 일치하지 않게 행동하는지 여부에 달려 있다고 말하고 싶습니다.

일관되지 않은

Neyman-Pearson으로 시작하십시오. 연구원은 alpha = 0.05를 설정하고 실험을 실행하며 p = 0.052를 계산합니다. 연구원은 p- 값을보고 피셔의 추론을 사용하여 (종종 암시 적으로) 결과가 여전히 "무언가"라고 주장 할 테스트 가설과 충분히 호환되지 않는 것으로 간주합니다. p- 값이 알파 값보다 큰 경우에도 결과는 "충분히 충분"합니다. 이것은 종종 "거의 유의미한"또는 "의미를 향한 경향"또는 그 라인을 따라 표현되는 언어와 짝을 이룹니다.

그러나 실험을 실행하기 전에 알파 값을 설정하면 Neyman-Pearson 귀납적 행동의 접근 방식을 선택했음을 의미합니다. p- 값을 계산 한 후 알파 값을 무시하도록 선택하고 무언가를 주장하는 것이 여전히 흥미 롭다는 것은 처음부터 시작한 전체 접근 방식을 약화시킵니다. 연구원이 Path A (Neyman-Pearson)를 시작한 다음 자신이있는 경로가 마음에 들지 않으면 다른 경로 (Fisher)로 건너 뜁니다. 그것들은 그들이 시작한 (암시적인) 규칙과 일치하지 않습니다.

일관성 (아마도)

NP로 시작하십시오. 연구원은 alpha = 0.05를 설정하고 실험을 실행하며 p = 0.0014를 계산합니다. 연구원은 p <alpha를 관찰하여 검정 가설을 기각하고 (일반적으로 효과가 null이 아님) 대립 가설을 수용합니다 (효과는 실제 임). 이 시점에서 연구원 은 결과를 실제 효과 (NP)로 취급하기로 결정하는 것 외에도 실험이 효과가 실제라는 강력한 증거를 제공한다고 판단합니다 (Fisher). 그들은 그들이 시작한 접근 방식에 뉘앙스를 추가했지만 처음에 알파 값을 선택하여 설정된 규칙과 모순되지 않았습니다.

요약

알파 값을 선택하여 시작하면 Neyman-Pearson 경로를 선택하고 해당 접근법에 대한 규칙을 따르기로 결정한 것입니다. 그들이 어떤 시점에서 어부의 추론을 정당화로 사용하여 그러한 규칙을 위반한다면, 그들은 일관되지 않고 / 일관되지 않게 행동했다.

나는 한 걸음 더 나아가 하이브리드를 일관성없이 사용할 수 있기 때문에 접근 방식이 본질적으로 일관성이 없지만 철학적 측면에 더 깊이 들어가고 있다고 생각합니다. 의견을 제시하십시오.

Michael Lew의 모자 팁. 그의 2006 년 기사는 다른 문제보다 이러한 문제를 더 잘 이해하는 데 도움이되었습니다.