일반적인 통계적 죄는 무엇입니까?

저는 심리학을 전공하는 대학원생이며 통계에 대한 점점 더 독립적 인 연구를 수행함에 따라 공식 교육이 부족하다는 사실에 점점 더 놀랐습니다. 개인 및 중고 경험 모두 학부 및 대학원 교육의 통계적 엄격함이 심리학 내에서 어느 곳에 나 존재 함을 시사합니다. 따라서 저는 저와 같은 독립적 인 학습자가 "통계 학적 죄"목록을 작성하는 것이 도움이 될 것이라고 생각했습니다. 통계적 관행을 학생들에게 표준 실습으로 등급을 매기는 통계적 실습을 도표화하여 실제로는 더 우수하거나 더 강력하거나 유연합니다. 강력 함 등) 현대적인 방법이거나 솔직히 유효하지 않은 것으로 보입니다. 다른 분야에서도 비슷한 상황이 발생할 수 있음을 예상하여 여러 분야의 통계적 죄 목록을 수집 할 수있는 커뮤니티 위키를 제안합니다.

데이터를 보지 못합니다 (플롯).

p- 값에 대한 대부분의 해석은 죄가 있습니다! p- 값의 일반적인 사용법에는 결함이 있습니다. 내 의견으로는 가설 검정과 유의성 시험에 대한 표준 접근법에 의문이 제기된다는 사실.

Haller와 Krause는 통계 강사가 학생들이 p- 값을 잘못 해석 할 가능성이 거의 있음을 발견했습니다. Steve Goodman은 p- 값의 기존 (오용) 사용을 우위에두고 버리는 것에 대해 좋은 사례를 제시합니다. Hubbard 논문도 살펴볼 가치가 있습니다.

할러와 크라우스. 의미의 오해 : 학생들이 교사와 공유하는 문제 . 심리학 연구 방법 (2002) vol. 7 (1) pp. 1-20 ( PDF )

허바드와 바 야리. 고전 통계 테스트에서 증거 측정 (p 's)과 오류 (α)에 대한 혼동 . 미국 통계 학자 (2003) vol. 57 (3)

좋은 사람. 증거 기반의 의료 통계를 향하여. 1 : P 값 오류. 앤 인턴 메드 (1999) vol. 130 (12) 995-1004 ( PDF )

참조 :

Wagenmakers, EJ. p 값의 광범위한 문제에 대한 실질적인 해결책. 심리학 적 게시판 및 검토, 14 (5), 779-804.

p- 값의 명목상 "올바른"해석조차도 실험자가 선택한 선택으로 인해 잘못 작성된 명확한 절단 사례의 경우.

업데이트 (2016) : 2016 년 미국 통계 협회 (American Statistical Association)에서 p- 값에 대한 설명을 발표했습니다 ( 여기 참조) . 이것은 약 1 년 전 심리학 저널이 발행 한 "p- 값 금지"에 대한 반응 이었습니다.

예측 모델에서 작업 할 때 가장 위험한 트랩은 테스트 데이터 세트를 "최종"성능 평가 전용으로 예약하지 않는 것입니다.

매개 변수를 조정할 때 테스트 데이터를 사용하고 사전을 선택하고 학습 알고리즘 중지 기준을 선택할 때 테스트 데이터를 사용할 수있는 기회가 있다면 모델의 예측 정확도를 과대 평가하는 것은 정말 쉽습니다.

이 문제를 피하려면 새 데이터 세트 작업을 시작하기 전에 데이터를 다음과 같이 분할해야합니다.

• 개발 세트
• 평가 세트

그런 다음 개발 세트를 "훈련 개발 세트"및 "테스트 개발 세트"로 분할합니다. 여기서 훈련 개발 세트를 사용하여 다양한 매개 변수로 다양한 모델을 훈련하고 테스트 개발 세트의 성능에 따라 최고를 선택합니다. 교차 검증을 통해 그리드 검색을 수행 할 수 있지만 개발 세트에서만 가능합니다. 모델 선택이 100 % 완료되지 않은 동안에는 평가 세트를 사용하지 마십시오.

모델 선택 및 매개 변수에 확신이 있으면 평가 세트에서 10 배 교차 검증을 수행하여 선택한 모델의 "실제"예측 정확도에 대한 아이디어를 얻습니다.

또한 데이터가 일시적인 경우 타임 코드에서 개발 / 평가 분할을 선택하는 것이 가장 좋습니다. "특히 미래에 대해서는 예측하기가 어렵습니다."

통계 (가설 테스트) 대신 데이터 마이닝 (가설 발견)을 수행 한 경우 p- 값보고

가설 테스트 대 (예 : 가우스 설정)H 1 : μ ≠ $H_0: \mu=0$$H_1: \mu\neq 0$

모델에서 임을 정당화하기 위해 (예 : " 은 거부되지 않음"및 " 은 true" 혼합 )H 0 H $\mu=0$$H_0$$H_0$

이러한 유형의 (매우 나쁜) 추론의 좋은 예는 동일한 분산을 가정하여 평균이 같은지 테스트하기 전에 두 가우시안의 분산이 같은지 여부를 테스트하는 경우입니다.

정규성을 정당화하기 위해 정규성을 테스트 할 때 (비정규 대 비교) 다른 예가 발생합니다. 모든 통계학자는 그 일을 인생이라고 했습니까? 그것은 baaad입니다 :) (그리고 사람들이 비 Gaussianity에 견고성을 확인하도록 강요해야합니다)

나를 괴롭히는 몇 가지 실수 :

1. 편견 추정기가 편향 추정기보다 항상 좋다고 가정합니다.

2. 높은 가 좋은 모델을 의미 한다고 가정하면 , 낮은 R 2 는 나쁜 모델을 의미합니다.$R^2$$R^2$

3. 상관을 잘못 해석 / 적용하는 중입니다.

4. 표준 오류없는보고 지점 추정치

5. 보다 강력하고 성능이 우수한 비 / 반모 수적 방법을 사용할 수있는 경우 일종의 다변량 정규성 (예 : 선형 판별 분석)을 가정하는 방법을 사용합니다.

6. p- 값을 어떤 관계 의 증거가 얼마나 많은지 측정하는 것이 아니라 예측 변수와 반응 사이의 강도 측정으로 사용합니다 .

연속 예측 변수의 이분법 화는 분석을 "단순화"하거나 연속 예측 변수의 효과에서 비선형 성의 "문제"를 해결합니다.

실제로 질문에 대답하지는 않지만이 주제에 대한 전체 책이 있습니다.

Phillip I. Good, James William Hardin (2003). 통계의 일반적인 오류 (및 방지 방법) 와일리 ISBN 9780471460688

해석 Probability(data | hypothesis)으로 Probability(hypothesis | data)베이 즈 정리의 응용 프로그램없이.

정당화 된 통계.

이 "죄"는 여러분이 가르친 것을 적절성에 관계없이 적용하는 것입니다. 왜냐하면 그것이 일을하는 방식이기 때문입니다. 기계가 통계를 선택할 수 있도록 한 단계 위의 rote 별 통계입니다.

예를 들어 통계 수준의 학생들에게 모든 것이 자신의 t- 검정 및 분산 분석 툴킷에 적합하도록 노력하거나 "아, 나는 범주 형 데이터를 가지고 있습니다. 데이터를 요청하거나 질문을 고려하십시오.

이 죄에 대한 변형은 이해하기 어려운 출력을 생성하기 위해 이해하지 못하는 코드를 사용하는 것이지만 "5 열, 8 행 아래로"또는 원하는 답이 무엇인지 아는 것입니다.

모델 선택 후 단계적 회귀 및 기타 형태의 테스트 일 수 있습니다.

기존 관계의 우선 순위 가설 없이 모델링을 위해 독립적 인 변수를 선택하면 다른 실수 중에서도 논리적 오류나 가짜 상관 관계가 발생할 수 있습니다.

유용한 참고 문헌 (생물학적 / 생물 통계 학적 관점에서) :

1. Kozak, M., & Azevedo, R. (2011). 순차적 변수 분석 모델을 구축하기 위해 단계별 변수 선택을 사용하는 것이 합리적입니까? Physiologia plantarum, 141 (3), 197–200. doi : 10.1111 / j.1399-3054.2010.01431.x

2. Whittingham, MJ, Stephens, P., Bradbury, RB, & Freckleton, RP (2006). 왜 우리는 여전히 생태와 행동에서 단계적 모델링을 사용합니까? 동물 생태학 저널, 75 (5), 1182–9. doi : 10.1111 / j.1365-2656.2006.01141.x

3. Frank Harrell, Regression Modeling Strategies , Springer 2001.

회의 논문과 심지어 저널에서도 놀랄만 한 금액을보고있는 것은 다중 비교 (예 : 이변 량 상관 관계)를 수행 한 다음 모든 p <.05를 ​​"유의 한"것으로보고하는 것입니다 (현재의 옳고 그름을 무시 함).

심리학 졸업생들에 대해 당신이 무엇을 의미하는지 잘 알고 있습니다. 저는 심리학 박사 학위를 마쳤으며 여전히 실제로 배우고 있습니다. 우리가 그것을 사용하려면 심리학이 정량적 데이터 분석을 더 심각하게 취해야한다고 생각합니다.

탐구 적이지만 확인적인 척하는 것. 이 수 하나는 분석 전략 (등등 즉 모델 피팅, 변수 선택과) 중심의 데이터를 수정하는 경우 발생하거나 발생할 구동 만 "최고"(즉, 가장 작은 P-값) 결과를보고이 공개적으로 다음 진술하지 것처럼 그것은 유일한 분석이었다. 이것은 또한 Chris Beeley가 여러 번 테스트하여 과학적 보고서에서 높은 오 탐지율을 보이는 경우와 관련이 있습니다.

내가 자주보고 항상 기어를 갈아 입는 것은 한 그룹에서 통계적으로 유의 한 주 효과와 다른 그룹에서 통계적으로 유의하지 않은 주 효과가 x의 영향을 의미한다는 가정입니다.

특히 역학 및 공중 보건에서-연관 척도 (위험 비율, 승산 비율 또는 위험 비율)의 그래프를보고 할 때 대수 척도 대신 산술을 사용합니다.

자세한 내용은 여기를 참조 하십시오 .

상관 관계는 인과 관계를 암시하며, 이는 귀무 가설을 받아들이는 것만 큼 나쁘지 않습니다.

분산 분석을 사용하여 속도 데이터 (정확도 등)를 분석하여 실제로 이항 분포 일 때 속도 데이터에 가우시안 분포 오류가 있다고 가정합니다. Dixon (2008) 은 이러한 죄의 결과와보다 적절한 분석 방법의 탐색에 대해 논의합니다.

현재 인기있는 것은 효과의 분산에만 관련 될 때 반복 측정 설계에서 원시 성능 값에 대해 95 % 신뢰 구간을 플로팅하는 것입니다. 예를 들어, 반복 측정 ANOVA의 MSE로부터 오류 항이 도출되는 신뢰 구간을 갖는 반복 측정 설계에서의 반응 시간 플롯. 이러한 신뢰 구간은 합리적인 것이 아닙니다. 그것들은 절대 반응 시간에 대해서는 아무 것도 나타내지 않습니다. 오차 항을 사용하여 효과 주위에 신뢰 구간을 생성 할 수 있지만 거의 수행되지 않습니다.

Michael Lew가 말한 것의 많은 부분과 관련이있을 수 있지만, 가능성 비율에 찬성하여 p- 값을 포기하는 것은 여전히보다 일반적인 문제, 즉 결과의 실질적 의미를 부여하는 데 필요한 효과 크기보다 확률 론적 결과를 지나치게 강조하는 문제를 놓치고 있습니다. 이 유형의 오류는 모든 모양과 크기로 발생하며 가장 교묘 한 통계적 실수라고 생각합니다. J. Cohen 및 M. Oakes 및 기타를 바탕으로 http://integrativestatistics.com/insidious.htm 에 이에 대한 글을 썼습니다 .

오류가 정규 분포를 따르고 처리간에 일정한 편차가 있다는 가정을 테스트하지 못했습니다. 이러한 가정이 항상 테스트되는 것은 아니므로 최소 제곱 모형 적합은 실제로 부적절 할 때 종종 사용됩니다.

저학년의 내 소개 심리 측정 과정은 적어도 2 주 동안 단계적 회귀를 수행하는 방법을 가르치는 데 보냈습니다. 단계별 회귀가 좋은 상황이 있습니까?

내 오래된 통계 전문가는 특이 치를 처리하기위한 "거짓의 규칙"을 가지고 있습니다 : 산점도에 특이점이 있으면 엄지 손가락으로 가리십시오. :)

이것은 당신이 찾고있는 것보다 더 많은 팝 통계 답변 일 수 있지만,

데이터가 치우친 경우 평균을 위치 표시기로 사용합니다 .

당신과 당신의 청중이 당신이 말하는 것을 알고 있다면 이것은 반드시 문제는 아니지만, 일반적으로 그렇지 않으며, 중앙값은 종종 무슨 일이 일어나고 있는지에 대한 더 나은 아이디어를 줄 것입니다.

내가 가장 좋아하는 예는 평균 임금이며, 보통 "평균 임금"으로보고됩니다. 국가의 소득 / 부 불평등에 따라, 이것은 평균 임금과 크게 다를 수 있으며, 이는 사람들이 실제로 어디에 있는지에 대한 훨씬 더 나은 지표를 제공합니다. 예를 들어, 불평등이 상대적으로 낮은 호주의 경우 중앙값이 평균보다 10-15 % 낮습니다 . 미국에서는 그 차이 가 훨씬 더 심각 하고 중앙값이 평균의 70 % 미만이며 차이가 커지고 있습니다.

"평균"(평균) 임금에 대한보고는 보증 된 것보다 더 냉혹 한 그림을 초래하며, 또한 많은 사람들이 "정상적인"사람들만큼 수입을 얻지 못한다는 잘못된 인상을 줄 수 있습니다.

p- 값은 귀무 가설이 참일 확률이고 (1-p)는 대립 가설이 참일 확률이며, 귀무 가설을 기각하지 못하는 대립 가설은 거짓 등을 의미합니다.

@dirkan과 유사한 맥락에서-귀무 가설이 참이라는 증거의 공식적인 척도로 p- 값을 사용합니다. 휴리스틱하고 직관적으로 좋은 기능이 있지만 대체 가설을 언급하지 않기 때문에 본질적으로 불완전한 증거 측정입니다. 데이터가 널 (null) 아래에있을 가능성은 적지 만 (작은 p- 값으로 이어짐), 데이터는 대립 가설하에 있을 가능성이 더 적습니다 .

$\rightarrow$$\rightarrow$

파이 차트를 사용하여 상대 빈도를 설명합니다. 더 여기에 .

가설 검정에서 통계 / 확률을 사용하여 "절대 진실"을 측정합니다. 통계는 단순히 이것을 할 수 없으며, 대안 사이를 결정할 때만 사용할 수 있으며 통계 패러다임의 "외부"에서 지정해야합니다. "통계에 의해 귀무 가설이 입증 된 것"과 같은 문장은 잘못되었습니다. 통계는 "대립 가설과 비교하여 귀무 가설이 데이터에 의해 선호된다"는 것만 알 수 있습니다. 그런 다음 귀무 가설 또는 대안이 참이어야 한다고 가정 할 경우 "널이 참임을 증명했습니다"라고 말할 수 있지만 이는 데이터에 의해 입증 된 것이 아니라 가정의 결과에 불과합니다.

$\alpha = 0.05$

그리고 @ogrisel의 답변 과 유사하거나 거의 동일 하며 그리드 검색을 수행하고 최상의 결과 만보 고합니다.

약간의 운이 있으면 논쟁의 여지가 있습니다.

과학 실험의 통계 분석에 Neyman-Pearson 접근 방식을 사용합니다. 또는 더 나쁜 것은 Neyman-Pearson과 Fisher의 잘못 정의 된 하이브리드를 사용하는 것입니다.

플로우 차트 요청 및 획득 : 변수의 수준과 원하는 관계를 말하고 화살표를 따라 브랜드 이름 테스트 또는 브랜드 이름 통계를 얻는 그래픽 . 때로는 신비로운 '파라 메트릭'및 '비모수'경로가 제공됩니다.