실제로 통계 관행이 열악한 통계에 대한 논문이 많이 있습니까?

통계 방법을 남용하는 방법은 여러 가지가 있습니다. 저명한 학술지에 처음으로 명백한 조언 (예 : "이 방법을 사용해야합니다 ...")으로 출판 된 좋지 않은 통계 관행의 예를 알고 있습니까?

예를 들어 로지스틱 또는 Cox PH 회귀 모델 ( LINK )에 대해 종종 호출되는 예측 자 규칙 당 10 개의 이벤트가 있습니다 .

분명히, 나는 불합리한 통계 방법을 사용하여 많이 인용 된 논문을 의미하지는 않습니다. 불행히도 이들은 일반적으로 일반적입니다.

RA Fisher, "현장 실험의 배열". 영국 농업부 저널. 33 : 503–513. 1926.

인터넷의 다양한 출처에 따르면이 논문은 임의의 통계 테스트에서 를 유의 임계 값으로 사용하는 원인입니다 .$\alpha = 0.05$

... 우리가 말할 수있는 수준에 대해 선을 그리는 것이 편리합니다.

... 20 분의 1이 충분히 높은 확률로 보이지 않는다면 원한다면 50 분의 1 (2 % 포인트) 또는 100 분의 1 (1 % 포인트)로 라인을 그릴 수 있습니다. 개인적으로 작가는 5 % 지점에서 낮은 중요성의 표준을 설정 하고이 수준에 도달하지 못한 모든 결과를 완전히 무시 하는 것을 선호 합니다. 과학적 사실은 적절하게 설계된 실험이 이러한 수준의 중요성을 나타내지 않는 경우에만 실험적으로 확립 된 것으로 간주해야합니다.

계량 경제학에서, 당신은 적절한 저널에 잘 알려진 (그리고 숙련 된) 계량 경제학자에 의해 전파 된 방법의 몇 가지 예를 확실히 찾을 수 있습니다. 나는 이론적 인 논문을 인식하지 오전하지만 (1986) Lalonde는 현재 사용 방법을 잘하지 않는 것을 지적에 대해 매우 유명하다 : 그는 관측 사람과 같은 데이터 세트의 실험 방법에 대한 비교 (인과)의 분야에서 큰 차이를 발견 치료를 평가 . 당시에 사용되어 왔으며 오늘날에도 여전히 사용되는 이러한 비 실험적 방법을 전파 한 큰 문헌이 있습니다.

결과적으로 성향 점수 매칭 이 가능한 해결책 인지에 대한 논쟁이 있었고 (아직도 여전히 생각합니다) (예를 들어 here 참조 ).

게다가, 도구 변수 추정 에 대한 많은 논란이있다 . 많이 인용 된 원본 논문의 결론은 논쟁의 여지가 있습니다. 이것은 아마도 귀하의 질문에 가장 가까운 예일 것입니다. Bound and Jaeger (1996, 이후 논문)는 기본적으로 응용 계량 경제학 문헌에서 도구 적 변수 방법을 확립 한 Angrist and Krueger (1991; Google Scholar에 따르면 2700 개의 인용) 에서 잘 알려진 논문의 발견에 의문을 제기했습니다 .

인과 관계를 확립하기위한 소위 축소 된 양식 추정치 의 적절성에 대한 큰 논쟁도 있습니다 ( 예 : Imbens (2010) 참조 ) .

또 다른 큰 주제는 물론 표준 오류에 관한 것입니다. p- 값을 전파하는 잘 알려진 종이를 찾을 수 있습니다. 계량 경제학에서 기존의 잘못된 방법으로 인해 더 긴 시계열에 대한 표준 오차가 종종 ( 차이 설계에서 ) 잘못 계산되었습니다 ( 여기 참조) . 그러나 나는 그 맥락에서 이러한 방법을 제안하는 인용이 많은 원본을 알지 못하지만이 분야에서 몇 가지 예를 찾을 것이라고 확신합니다.

출처 :

Angrist, Joshua D. 및 Alan B. Keueger "강제 출석은 학교와 수입에 영향을 줍니까?" Quarterly Journal of Economics 106, no. 4 (1991) : 979-1014.

베르트랑, 마리안, 에스더 듀플로, 센딜 물 라이나 단. "차이 추정치를 얼마나 신뢰해야합니까?" 분기 별 경제학 저널 119, no. 1 (2004) : 249-275.

바운드, 존, 데이비드 에이 예거. 임금 방정식의 도구로서 출생 시즌의 타당성에 관하여 : Angrist & Krueger 's에 대한 논평은 의무 학교 출석이 학교에 영향을 미친다.

데 헤지 아, 라 예프. "실제 성향 점수 일치 : Smith and Todd에 대한 답변." 계량 경제학 저널 125, no. 1-2 (2005) : 355-364.

Imbens, Guido W. "Deatton (2009)과 Heckman and Urzua (2009)에 대한 언급은 늦지 않습니다." 경제학 저널 48, no. 2 (2010) : 399-423.

LaLonde, Robert J. "실험 데이터를 사용한 교육 프로그램의 계량 평가 평가" 미국 경제 검토 (1986) : 604-620. *

시도해보십시오 (강하지는 않지만).

매우 유용합니다 [Cameron, AC, & Miller, DL (2015). 군집 견고성 추론에 대한 실무자 안내서. Journal of Human Resources, 50 (2), 317-372.] // 이미 1900 명의 Google 학술 검색 서지 정보 //가 표준 오류의 적절한 수준의 군집에 관한 조언을 제공합니다.

"합의는 보수적이며 편견을 피하고 클러스터가 너무 적을 우려가있는 시점을 포함하여 가능하면 더 크고 더 많은 집계 클러스터를 사용하는 것입니다."

그러나 [Abadie, A., Athey, S., Imbens, GW, & Wooldridge, J. (2017). 언제 클러스터링에 대한 표준 오류를 조정해야합니까? (번호 w24003). 국가 경제 연구 국 (National Bureau of Economic Research.)은 "너무 많은 수준에서 군집화에 실제로 피해가있다"고 밝혔다. 다음 중 1 페이지를 참조하십시오 : https://economics.mit.edu/files/13927

어쩌면 Abadie et al (2017)이 강조한 두 가지 오해에서 시작하여 놀라운 사례를 만들 수도 있습니다.