평신도가 종종 분석을 수행하는 시대에 모델 가정과 평가의 중요성을 과장하고 있습니까?

결론적으로 , 통계에 대해 더 많이 배울수록 내 분야의 논문을 신뢰하는 것이 줄어 듭니다. 나는 연구원들이 통계를 충분히 잘하지 못한다고 생각합니다.

저는 평신도입니다. 저는 생물학 교육을 받았지만 통계 나 수학에 대한 공식 교육은 없습니다. 나는 R을 즐기고 종종 연구를 할 때 적용하는 방법의 이론적 기초를 읽고 이해하려고 노력합니다. 오늘날 분석을 수행하는 대다수의 사람들이 실제로 공식적으로 훈련되지 않았다고해도 놀라지 않을 것입니다. 나는 약 20 개의 원본 논문을 발간했는데, 그 중 일부는 인정 된 저널과 통계 학자에 의해 승인되었으며, 종종 검토 과정에 관여했습니다. 내 분석에는 일반적으로 생존 분석, 선형 회귀, 로지스틱 회귀, 혼합 모형이 포함됩니다. 검토자가 모델 가정, 적합 또는 평가에 대해 질문 한 적이 없습니다.

따라서 모델 가정, 적합 및 평가에 대해 너무 신경 쓰지 않았습니다. 가설로 시작하여 회귀를 실행 한 다음 결과를 제시합니다. 어떤 경우에는 내가이 일을 평가하는 노력을하지만, 난 항상 함께 결국 " 잘은 모든 가정 사항을 충족하지 못했지만, 그 결과를 신뢰 ("주제 지식 ")과 잘 그래서 그들은 그럴듯하다 "와 통계 학자와상의 할 때 그들은 항상 동의하는 것처럼 보였다.

이제 저는 스스로 분석을 수행하는 다른 통계 학자와 비 통계 학자 (화학자, 의사 및 생물 학자)와 이야기했습니다. 사람들은 실제로 이러한 모든 가정과 공식 평가에 대해 너무 귀찮게하지 않는 것 같습니다. 그러나 CV에는 잔차, 모델 적합, 평가 방법, 고유 값, 벡터 및 목록에 대해 묻는 많은 사람들이 있습니다. lme4가 큰 고유 값에 대해 경고 할 때 이런 식으로 설명하겠습니다.

추가 노력의 가치가 있습니까? 게시 된 모든 결과의 대부분이 이러한 가정을 존중하지 않으며 평가하지 않았을 가능성이 있습니까? 데이터베이스가 매일 커지고 있기 때문에 데이터가 커질수록 가정과 평가가 덜 중요하다는 개념이 있기 때문에 이것은 아마도 점점 커지고있는 문제 일 것입니다.

나는 절대적으로 틀릴 수 있지만 이것이 내가 이것을 인식 한 방법입니다.

업데이트 : StasK에서 빌린 인용 (아래) : http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509

나는 생물학 자나 의사가 아닌 통계학 자로 훈련을 받았습니다. 그러나 나는 꽤 많은 의학적 연구 (생물 학자 및 의사와 함께 일하는)를하는데, 나의 연구의 일부로서 나는 여러 가지 다른 질병의 치료에 관해 아주 조금 배웠습니다. 이것은 친구가 내가 연구 한 질병에 대해 나에게 물어 보면 내가 그 특정 질병에 일반적으로 사용되는 약물에 대한 처방전을 작성할 수 있다는 것을 의미합니까? 내가 이것을해야한다면 (나는하지 않는다), 많은 경우에 (의사가 동일한 약을 처방했을 것이기 때문에) 제대로 작동하지만 항상 알레르기 / 약물이있을 가능성이 있습니다. 의사가 물어보아야 할 상호 작용 / 기타, 나는 선보다 훨씬 더 많은 해를 입히지 않는다.

당신이 가정하고 무엇이 잘못 될 수 있는지 이해하지 않고 통계를하고 있다면 (또는 이런 것들을 찾는 방법에 따라 통계 학자와상의하는 것) 통계적 과실을하고있는 것입니다. 대부분의 경우 괜찮을지 모르지만 중요한 가정이 유지되지 않지만 무시하는 경우는 어떻습니까?

나는 통계적으로 합리적이고 유능한 의사들과 함께 일하며 많은 분석을 할 수는 있지만 여전히 저를 지나칠 것입니다. 종종 나는 그들이 옳은 일을하고 분석을 스스로 할 수 있음을 확인하지만 (그리고 그들은 일반적으로 확인에 감사한다) 때때로 그들은 더 복잡한 일을 할 것이고 더 나은 접근법을 언급 할 때 보통 분석을 뒤집을 것이다 나 또는 내 팀에게, 또는 더 적극적인 역할을 수행하기 위해 나를 데려 오십시오.

그래서 당신의 제목 질문에 대한 나의 대답은 "아니오"입니다. 우리는 과장하지 않고 오히려 평신도가 통계 학자와 그들의 절차 / 결과를 적어도 두 번 점검 할 수 있도록 좀 더 강조해야합니다.

편집하다

이것은 아래의 Adam의 의견을 기반으로 한 추가 사항입니다 (다른 의견은 조금 길 것입니다).

아담, 귀하의 의견에 감사드립니다. 짧은 대답은 "모르겠습니다"입니다. 나는 기사의 통계적 품질을 향상시키는 데 진전이 있다고 생각하지만, 여러 가지 방식으로 너무 빨리 움직여서 품질을 파악하고 보장하는 데 시간이 걸릴 것입니다. 해결책의 일부는 인트로 스탯 코스의 위반의 가정과 결과에 초점을 맞추고 있습니다. 통계학자가 수업을 진행할 때 발생할 가능성이 높지만 모든 수업에서 진행해야합니다.

일부 저널은 더 잘하고 있지만 특정 통계 검토자가 표준이 되길 바랍니다. 몇 년 전의 기사가있었습니다 (죄송 합니다만 참고 자료는 유용하지 않지만 JAMA 또는 New England Journal of Medicine에 게시되어 있음). 생물 통계 학자 또는 역학자가 공동 저자 중 하나 였다면 JAMA 또는 NEJM에서).

최근에 나온 흥미로운 기사는 다음과 같습니다. http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412 는 동일한 문제 중 일부를 설명합니다.

글쎄요, 가정은 중요합니다. 전혀 중요하지 않다면, 우리는 그것들을 만들 필요가 없습니다.

문제는 그것이 얼마나 중요한지-이것은 절차와 가정에 따라 다르며 결과에 대해 주장하고자하는 것 (그리고 그러한 주장에서 청중이 얼마나 관대한지, 심지어 부정확한지)에 달려 있습니다.

따라서 가정이 중요한 상황의 예를 보려면 분산의 F- 검정에서 정규성 가정을 고려하십시오. 분포가 상당히 완만하게 변화하더라도 절차의 특성 (실제 유의 수준 및 검정력)에 상당히 극적인 영향을 미칠 수 있습니다. 실제로 28 % 수준 일 때 5 % 수준에서 테스트를 수행한다고 주장하는 경우 실험 수행 방법에 대해 거짓말을하는 것과 같은 방식으로 수행하는 것입니다. 그러한 통계적 문제가 중요하지 않다고 생각한다면, 그에 의존하지 않는 주장을하십시오. 반면, 통계 정보를 지원으로 사용하려는 경우 해당 지원을 잘못 표시 할 수 없습니다.

다른 경우에는 특정 가정이 훨씬 덜 중요 할 수 있습니다. 선형 회귀 분석에서 계수를 추정하고 통계적으로 유의한지 신경 쓰지 않고 효율성에 신경 쓰지 않는다면 상관 관계 가정이 적용되는지 여부는 중요하지 않습니다. 그러나 통계적으로 유의미하다고 말하거나 신뢰 구간을 표시하려는 경우 문제가 될 수 있습니다.

Glen_b가 큰 대답을 했지만 몇 센트를 추가하고 싶습니다.

한 가지 고려 사항은 과학적 진실을 얻고 자하는지 여부입니다. 결과를 연마하고 접근이 방어 가능한지 여부에 대한 모든 세부 정보를 파악해야합니다. 방법. 다시 말해서, 당신은 당신의 내면의 양심에게 당신이 할 수있는 최선의 일을하고 있는지 물어봐야합니다. 당신의 징계에서 낮은 통계적 문해력과 느슨한 통계 관행을 언급한다고 설득력있는 주장을하지는 않습니다. 일부 최고 판매점은 통계 전문 지식을 검토 프로세스에 도입 하려는 명시적인 이니셔티브 를 가지고 있지만, 검토 자들은 이러한 느슨한 표준과 동일한 분야에서 온 경우 종종 절반 정도 도움이됩니다 .

그러나 당신이 냉소적 인 "출판 또는 멸망"살라미 슬라이서라도 다른 고려 사항은 기본적으로 연구 평판의 안전성입니다. 당신의 모델이 실패하고 당신이 그것을 모른다면, 당신은 좀 더 세련된 도구로 모델 체크의 균열에 도끼를 몰아 넣을 수있는 사람들에 의해 반박의 위험에 노출됩니다. 과학계가 명성과 재현성에 대한 명목상의 철학적 요구 사항에도 불구하고 다른 사람의 연구를 재현하려는 시도에는 거의 관여하지 않기 때문에 그 가능성은 낮게 나타납니다. (나는 그들이 기본적 오 나의 하나님 "으로 시작 논문의 몇 가지를 서면으로 않았다 포함되었다 정말"?라고 적어두고 동료 검토 된 공개 된 반 통계적 접근 방식에 대한 비평과 개선을 제공했습니다.) 그러나 통계 분석의 실패는 노출 될 때 종종 크고 불쾌한 영향을 미칩니다.

가정 위반의 본질은 향후 연구의 중요한 단서가 될 수 있습니다. 예를 들어, Cox 생존 분석에서 비례 위험 가정을 위반하는 것은 단기 생존에는 큰 영향을 미치지 만 장기에는 거의 영향을 미치지 않는 변수 때문일 수 있습니다. 이는 통계 테스트에서 가정의 유효성을 검사하여 얻을 수있는 예기치 않은 잠재적 정보의 유형입니다.

따라서 기본 가정을 테스트하지 않으면 문학뿐만 아니라 잠재적 인 장애가 발생합니다. 고품질 저널이보다 정교한 통계 검토를 요구하기 시작하면 더 자주 호출해야합니다. 통계 검토자가 요구하는 테스트가 논문의 핵심이라고 생각한 내용을 손상시키는 위치에 있지 않으려 고합니다.

중간 관점에서 대답하겠습니다. 저는 통계학자가 아니고 화학자입니다. 그러나 지난 10 년 동안 화학 관련 데이터의 화학량 론 = 통계 데이터 분석을 전문으로했습니다.

나는 연구원들이 통계를 충분히 잘하지 못한다고 생각합니다.

아마도 그럴 것입니다.

짧은 버전 :

이제 가정에 대해. IMHO의 상황은 한 가지 진술로 다루기가 너무 이질적입니다. 위반이 무해하거나 치명적인지 판단하기 위해서는 가정이 정확히 필요한 것이 무엇인지, 그리고 어떤 방식으로 위반 될 가능성이 있는지 이해해야합니다. 그리고 이것은 통계와 응용 지식이 모두 필요합니다.
그러나 달성 할 수없는 가정에 직면 한 실무자로서 다른 것도 필요합니다. 예를 들어 위반이 실제로 문제를 일으키는 지 또는 무해한지를 판단 할 수있는 "2 차 방어선"을 원합니다.

긴 버전 :

• 실제적인 관점에서, 일부 전형적인 가정은 거의 충족되지 않습니다. 때로는 데이터에 대한 현명한 가정을 공식화 할 수 있지만 종종 통계적 관점에서 문제가 너무 복잡해져 솔루션을 아직 알 수 없습니다. 지금은 과학을하는 것이 특정 분야뿐만 아니라 다른 분야 (여기서는 응용 통계)에서도 알려진 것의 경계에 부딪히는 것을 의미한다고 생각합니다.

• 특정 위반이 일반적으로 무해한 것으로 알려진 다른 상황이 있습니다. 예를 들어 LDA에 대해 동일한 공분산을 갖는 다변량 정규성은 LDA가 최적임을 나타 내기 위해 필요하지만, 예측이 휴리스틱을 따르는 경우가 많습니다. 가정이 충족되지 않습니다. 그리고 어떤 위반이 문제를 일으킬 수 있는가 : 배포판의 꼬리가 굵어지면 실제로 LDA에 문제가 발생하는 것으로 알려져 있습니다.
  불행히도, 그러한 지식은 논문을 요약하여 작성하는 경우가 거의 없으므로 독자는 저자가 응용 프로그램과 모델의 속성을 잘 고려한 후 모델을 결정했는지 여부 또는 모델을 선택했는지 여부를 알 수 없습니다. 그들은 건너왔다.

• 통계적 특성이 이해 될 때까지 수십 년이 걸리더라도 실제 관점에서 매우 유용한 실제 접근 방식 (휴리스틱)이 진화하는 경우가 있습니다 (PLS 생각).

• 발생하는 (그리고 더 많이 발생해야하는) 다른 문제는 위반의 가능한 결과를 모니터링 (측정)하여 문제가 있는지 여부를 결정할 수 있다는 것입니다. 응용 프로그램의 경우, 모델이 충분히 좋은 한 내 모델이 최적인지 여부는 신경 쓰지 않을 것입니다.
  화학 측정에서는 예측에 중점을 둡니다. 그리고 이것은 모델링 가정이 충족되지 않는 경우 매우 좋은 탈출구를 제공합니다. 이러한 가정에 관계없이 모델이 제대로 작동하는지 측정 할 수 있습니다. 실무자의 관점에서, 정직한 최첨단 유효성 검사를 수행하고보고하면 모델링 중에 원하는 모든 것을 할 수 있다고 말하고 싶습니다.
  분광 데이터의 화학 분석을 위해, 우리는 모델이 쉽게 과적 합하다는 것을 알고 있기 때문에 잔차를 보지 않는 지점에 있습니다. 대신 테스트 데이터 성능 (교육 데이터 예측 성능과의 차이)을 살펴 봅니다.

• 어떤 가정에 대한 위반이 얼마나 많은지를 정확하게 예측할 수는 없지만 모델의 고장을 초래하는 다른 상황이 있지만, 가정에 대한 심각한 위반의 결과를 직접 측정 할 수는 있습니다.
  다음 예 : 내가 일반적으로 다루는 연구 데이터는 (견적 한 추정값을 보장하기 위해) 변동 당 사례에 대해 통계적 규칙을 권장하는 표본 크기보다 작은 차수입니다. 그러나 통계 서적은 일반적으로 이러한 가정을 충족시킬 수없는 경우 실제로해야 할 일에 대해서는 크게 신경 쓰지 않습니다. 실제로 이런 점에서 문제가 있는지 여부를 측정하는 방법도 없습니다. 그러나 이러한 질문은보다 적용되는 분야에서 다루어집니다. 모델 안정성을 측정하거나 예측이 불안정한 지 여부를 직접 측정하는 것이 매우 쉬운 경우가 종종 있습니다 (리샘플링 유효성 검사 및 모델 안정성에 대한 CV 참조). 불안정한 모델을 안정화하는 방법이 있습니다 (예 : 배깅).

• "2 차 방어선"의 예로 리샘플링 유효성 검사를 고려하십시오. 일반적이고 가장 강력한 가정은 모든 대리 모델이 전체 데이터 세트에 대해 훈련 된 모델과 동일하다는 것입니다. 이 가정을 위반하면 잘 알려진 비관적 편견이 생깁니다. 두 번째 줄은 적어도 서로 게이트 모델이 서로 동일하므로 테스트 결과를 모을 수 있습니다.

마지막으로, "고객 과학자"와 통계 학자들이 서로 더 많은 대화를 나누도록 격려하고 싶습니다 . 통계 데이터 분석 IMHO는 단방향으로 수행 할 수있는 것이 아닙니다. 어느 시점에서 각 측면은 다른 측면에 대한 지식을 습득해야합니다. 나는 때때로 통계 학자와 화학자, 생물 학자들 사이의 "번역"을 돕는다. 통계학자는 모형에 정규화가 필요하다는 것을 알 수 있습니다. 그러나 LASSO와 융기 부분을 선택하려면 화학자, 물리학 자 또는 생물학 자만 알 수있는 데이터의 속성을 알아야합니다.

CV가 통계에 대해 호기심이 많지만 통계에 대해 호기심이 많은 사람들로 채워져 있다는 점을 감안할 때, 나는 가정을 이해해야 할 필요성을 강조하는 모든 대답에 놀라지 않습니다. 또한 이러한 답변에 원칙적으로 동의합니다.

그러나 출판 압력과 통계적 무결성에 대한 낮은 표준을 고려할 때 이러한 답변은 매우 순진하다고 말해야합니다. 우리는 사람들에게 하루 종일 무엇을해야하는지 (즉, 가정을 확인) 말할 수 있지만, 그들이 할 일은 전적으로 제도적 인센티브에 달려 있습니다. OP 자신은 모델의 가정을 이해하지 않고 20 기사를 게시 할 수 있다고 말합니다. 내 자신의 경험을 감안할 때, 나는 이것을 믿기 어렵다.

따라서 나는 OP의 질문에 직접 대답하여 악마의 옹호자를하고 싶습니다. 이것은 "좋은 습관"을 조장하는 답은 아니지만 풍자 힌트로 사물이 어떻게 실천되는지를 반영하는 답입니다.

추가 노력의 가치가 있습니까?

아니요, 게시하는 것이 목표라면 모델을 이해하는 데 항상 시간을 투자 할 가치가 없습니다. 문헌에서 널리 퍼진 모델을 따르십시오. 이렇게하면 1) 논문이 더 쉽게 검토를 통과하고 2) "통계적 무능력"에 노출 될 위험이 적습니다. 많은 노인을 포함하여 전체 분야를 노출시키는 것을 의미하기 때문입니다.

게시 된 모든 결과의 대부분이 이러한 가정을 존중하지 않으며 평가하지 않았을 가능성이 있습니까? 데이터베이스가 매일 커지고 있기 때문에 데이터가 커질수록 가정과 평가가 덜 중요하다는 개념이 있기 때문에 이것은 아마도 점점 커지고있는 문제 일 것입니다.

네, 대부분의 출판 된 결과가 사실이 아닐 수도 있습니다. 실제 연구에 더 많이 참여할수록 더 많은 가능성이 있다고 생각합니다.

짧은 대답은 "아니오"입니다. 통계적 방법은 결과가 유효하기 위해 충족되어야하는 여러 가정에 따라 개발되었습니다. 따라서 가정이 충족 되지 않으면 결과 가 유효하지 않을 수 있습니다. 물론, 일부 가정은 모델 가정 위반에도 불구하고 여전히 견고 할 수 있습니다. 예를 들어, 다항식로 짓은 IIA 가정 위반에도 불구하고 잘 수행되는 것으로 보입니다 (아래 참조에서 Kropko의 [2011] 논문 참조).

과학자로서 우리는 현장의 사람들이 가정이 충족되었는지를 신경 쓰지 않더라도 우리가 제시 한 결과가 유효하다는 것을 보장 할 의무가 있습니다. 과학은 과학자들이 사실을 추구 할 때 올바른 방식으로 행동 할 것이라는 가정에 기반을두고 있기 때문입니다. 우리는 동료들이 자신의 작업을 저널에 보내기 전에 점검 할 것을 믿습니다 . 우리 는 심판이 원고가 출판되기 전에 유능하게 검토 할 것을 믿습니다 . 우리는 가정연구원과 심판 모두 자신이하는 일을 알고 있으므로 동료 심사 저널에 게재 된 논문의 결과를 신뢰할 수 있습니다. 우리는 이것이 현실 세계에서 항상 진실한 것은 아니라는 것을 알고 있습니다. 당신이 글을 쓸만한 저널에서 분명히 고른 결과에서 머리를 떨고 눈을 돌리는 논문의 많은 양의 기사에 근거합니다 ( " Jama 가이 논문을 출판 했 습니까?! ").

따라서, 사람들이 당신의 실사를했다고 당신을 신뢰하기 때문에, 그 중요성은 아무리 강조해도 지나치지 않습니다. 당신이 할 수있는 최소한의 것은 사람들이 당신의 결과의 타당성을 해석하는 것을 돕기 위해 논문의 "제한"섹션에서 이러한 위반에 대해 이야기하는 것입니다.

참고

Kropko, J. 2011. 정치 연구 (논문)를 위한 이산 선택 및 시계열 횡단면 방법론에 대한 새로운 접근 . UNC- 채플 힐, 노스 캐롤라이나 채플 힐

고급 통계가 필요한 경우 데이터가 혼란 스러울 가능성이 높습니다. 심리학은 말할 것도없고 대부분의 사회 과학에서는 그렇습니다. 좋은 데이터가있는 필드에는 통계가 거의 필요하지 않습니다. 물리학은 아주 좋은 예입니다.

유명한 중력 가속 실험에서 갈릴레오의 인용문을 고려하십시오.

길이가 약 12 ​​큐빗, 폭이 1/2 큐빗, 두께가 세 손가락 인 목제 성형품 또는 깍는 조각이 취해졌다. 그 가장자리에는 한 손가락보다 약간 더 많은 수로를 채널을 자르고; 이 그루브를 매우 똑 바르고 매끄럽게 연마하고 양피지로 가능한 한 매끄럽고 광택을 낸 후 단단하고 매끄럽고 둥근 청 동구를 굴 렸습니다. 이 보드를 경 사진 위치에 놓았을 때 한쪽 끝을 다른 쪽 끝보다 한두 개의 큐빗 높이로 올려서 채널을 따라 방금 말한 것처럼 공을 굴 렸습니다. 하강하기 위해. 두 관측치 사이의 편차가 펄스 비트의 10 분의 1을 초과하지 않도록 정확도로 시간을 측정하기 위해이 실험을 두 번 이상 반복했습니다. 이 작업을 수행하고 신뢰성을 확보 한 후 이제 채널 길이의 1/4 만 공을 굴 렸습니다. 하강 시간을 측정 한 결과 정확히 전자의 절반을 발견했습니다. 다음으로 우리는 전체 거리의 시간을 절반의 시간, 2/3, 3/4의 시간, 또는 실제로 분수와 비교하여 다른 거리를 시도했습니다. 이러한 실험에서, 백 번 전체 반복, 우리는 항상 가로 지르는 공간이 시간의 제곱과 같이 서로에 있다는 것을 발견했으며, 이것은 비행기의 모든 성향, 즉 채널의 경사에 대해 사실이었습니다. 공. 또한 비행기의 다양한 경사에 대한 하강의 시간은 우리가 나중에 볼 수 있듯이, 그 비율과 정확히 일치한다는 것을 관찰했습니다.

시간 측정을 위해, 우리는 높은 위치에 놓인 큰 물 용기를 사용했습니다. 이 용기의 바닥에는 작은 직경의 파이프가 납땜되어 채널의 전체 길이 또는 길이의 일부에 관계없이 각 하강시 작은 유리에 수집 된 얇은 물 제트를 제공합니다. 이렇게 수집 된 물은 각각의 강하 후에 매우 정확한 균형으로 칭량되었다; 이러한 가중치의 차이와 비율은 시간의 차이와 비율을 제공했으며, 이는 작업이 여러 번 반복되었지만 결과에 눈에 띄는 불일치가 없었던 정확도로 왔습니다 .

강조 표시된 텍스트를 적어 둡니다. 이것이 좋은 데이터입니다. 좋은 이론을 바탕으로 잘 계획된 실험에서 나온 것입니다. 관심있는 것을 추출하기 위해 통계가 필요하지 않습니다. 당시 통계가 없었으며 컴퓨터도 없었습니다. 결과? 6 학년이 가정에서 테스트 할 수있는 매우 기본적인 관계입니다.

이 멋진 페이지 에서 인용문을 훔쳤습니다 .

$\chi^2$

이 질문은 전문적인 청렴성의 경우 인 것 같습니다.

문제는 (a) 일반인에 의한 통계 분석에 대한 비판적 평가가 충분하지 않거나 (b) 통계적 오류를 식별하기에 상식이 충분하지 않은 경우 (유형 2 오류)입니까?

나는 그 전문 분야의 경계에 가까이있을 때 전문가의 의견을 요청할 수있는 내 전문 분야에 대해 충분히 알고 있습니다. 나는 사람들이 충분한 지식없이 F- 테스트 (및 Excel의 R 제곱)와 같은 것을 사용하는 것을 보았습니다.

내 경험상, 교육 시스템은 통계를 홍보하려는 열의로 도구를 지나치게 단순화하고 위험 / 한계를 과소 평가했습니다. 이것이 다른 사람들이 경험하고 상황을 설명 할 수있는 공통적 인 주제입니까?