통계적 의의에 대한 현재 토론의 의미

지난 몇 년간, 여러 학자들은 "연구자 자유도"라고 불리는 과학적 가설 테스트의 해로운 문제를 제기했습니다. 이는 과학자들이 분석 중에 p- 값 <5 %로 찾기를 향한 선택의 여지가 많다는 것을 의미합니다. 이러한 모호한 선택은 예를 들어 어떤 경우를 포함해야하는지, 어떤 경우는 이상으로 분류되어 어떤 것이 나타날 때까지 수많은 모델 사양을 실행하고 null 결과를 게시하지 않는 등입니다 (심리학에서이 논쟁을 일으킨 논문은 여기 , Andrew Gelman의 인기있는 슬레이트 기사 및 후속 토론을 여기 에서 확인 하십시오 . 또한 타임지 에서도이 주제를 다룹니다 .)

첫째 , 한 가지 명확한 질문 :

타임 잡지는 썼다

"0.8의 거듭 제곱은 테스트 된 10 개의 실제 가설을 의미하며, 데이터에서 영향을받지 않기 때문에 2 개만 제외됩니다."

이것이 교과서에서 찾은 power 함수의 정의에 어떻게 부합하는지 잘 모르겠습니다 . 이 매개 변수 의 함수로 null을 거부 할 가능성이 있습니다. 다른 우리는 다른 힘을 가지고 있으므로 위의 인용문을 잘 이해하지 못합니다.$\theta$$\theta$

둘째 , 일부 연구 결과 :

1. 저의 정치 / 경제 분야에서 학자들은 이용 가능한 모든 국가 별 데이터를 사용합니다. 따라서 여기서 샘플을 다루는 것에 대해 걱정하지 않아야합니까?

2. 여러 테스트를 실행하지만 하나의 모델 만보고하는 문제를 다른 분야의 누군가가 논문을 다시 테스트하고 강력한 결과를 얻지 못한 경우 즉시 파업한다는 사실만으로 해결할 수 있습니까? 이것을 예상하면 내 분야의 학자들은 robustness check여러 모델 사양이 결과를 변경하지 않는다는 것을 보여주는 섹션 을 포함 할 가능성이 더 큽니다 . 이것으로 충분합니까?

3. Andrew Gelman과 다른 사람들은 데이터에 관계없이 실제로 존재하지 않는 "패턴"을 찾아서 게시 할 수 있다는 점을 지적합니다. 그러나 이것은 경험적 "패턴"이 이론에 의해 뒷받침되어야한다는 사실과 학문 내 경쟁 이론이 어떤 캠프가 더 많은 "패턴"을 찾을 수 있는지를 찾기 위해 토론 / 레이스에 참여할 것이라는 점을 고려할 때 걱정할 필요는 없다. 다양한 장소에서. 패턴이 실제로 의심스러운 경우 다른 샘플 / 설정에 유사한 패턴이 없으면 배후 이론이 빠르게 사라집니다. 과학이 어떻게 진행되지 않습니까?

4. 널 (null) 결과에 대한 저널의 현재 추세가 실제로 번성 할 것이라고 가정하면, 널 (null)과 긍정적 인 결과를 모두 집계하고 이들이 모두 테스트하려고한다는 이론에 대해 추론 할 수있는 방법이 있습니까?

p- 값을 사용하여 주장을 평가하는 대신 Robert Abelson의 조언을 따르고 MAGIC 기준을 사용해야합니다.

Magnitude
Articulation
Generality
Interestingness
Credibility

Abelson에 대한 자세한 내용 은 그의 책에 대한 나의 리뷰를 참조하십시오

그리고 우리는 통계 출력의 p- 값이 아닌 효과 크기에 집중해야합니다 (내가 전문가가 아닌 일부 데이터 마이닝을 제외하고 가능한 경우도 있음). 그리고 효과 크기는 다음과 같은 맥락에서 판단됩니다.

1 in 1000 pairs of pants gets the wrong size label - not a big deal
1 in 1000 airplanes are defective in a way that leads to crashes - a big deal
1 in 1000 nuclear reactors is defective in a way that leads to meltdown - uh oh

통계 학자 / 데이터 분석가는 데이터를 넣고 p 값을 얻는 블랙 박스처럼 사용되는 이상한 사람이되어서는 안됩니다. 현재 이론 (또는 그 부족)과 현재 증거 (또는 같은 부족)를 고려할 때 일부 분야의 맥락에서 일부 데이터 집합의 의미에 대해 합리적인 논쟁을 할 수 있도록 설계된 연구 협력자 여야합니다.

불행하게도,이 접근법은 실질적인 연구자, 데이터 분석가 및 결과를 검토하는 사람 (뾰족한 머리 보스, 논문위원회, 저널 편집자 또는 누구든지)에 대한 생각이 필요합니다. 이상하게도 학계조차도 이런 종류의 사고에 반대되는 것처럼 보입니다.

내 견해에 대한 자세한 내용 은 Sciences360에 게시 된 기사 입니다.

통계 과학 분야는 처음부터 이러한 문제를 해결했습니다. 통계학 자의 역할은 유형 1 오류율이 고정 된 상태를 유지하는 것입니다. 이는 오탐 (false positive) 결론을 내릴 위험을 제거 할 수는 없지만 통제 할 수 있음을 의미합니다. 이것은 일반적인 통계 관행의 철학과 윤리보다는 오히려 진행되고있는 매우 많은 양의 과학 연구에 주목해야한다. 미디어 (또는 정부 정책)에있는 모든 놀라운 결과에 대해 최소한 19 개의 다른 믿을 수없는 결과가 무효로 판명되었습니다.

실제로, trialtrials.gov를 방문하면, 현재 미국에서 진행중인 제약 에이전트에 대한 1,000 건이 넘는 임상 시험이 거의 모든 질병 징후에 해당한다는 것을 알 수 있습니다. 즉, 0.001의 오 탐지율로 평균 1 개 이상의 약물이 효과가없는 선반에 놓이게됩니다. 통계적 유의성에 대한 검증 된 역치로서의 0.05의 유효성은 계속해서 도전하고있다. 아이러니하게도, 1/20 오 탐지율을 사용하는 것이 불편하다고 느끼는 것은 통계학 자일뿐 아니라 재무 이해 관계자 (PI 또는 Merck 등)는 시험관 내 결과, 이론적 증거 또는 사전 증거의 강도에 상관없이 강인한 믿음을 추구합니다. 솔직히 그 강인함은 비 통계적 역할에 성공한 많은 개인의 성공적이고 칭찬 할만한 개인의 특성입니다. 그들은 일반적으로 그 강인함을 이용하는 경향이있는 통계 학자들 각자의 토템에 앉아있다.

나는 당신이 제시 한 시간 견적이 완전히 잘못되었다고 생각합니다. 거듭 제곱은 귀무 가설이 잘못된 것으로 가정 할 가능성입니다. 이것은 더 중요하게 귀무 가설이 얼마나 "거짓"인지에 달려 있습니다 (결과는 측정 가능한 효과 크기에 달려 있습니다). 나는 우리가 "흥미로운"것으로 감지하는 효과의 맥락에서 힘에 대해 거의 이야기하지 않습니다. (예를 들어, 4 기 췌장암의 화학 요법 치료 후 4 개월 생존율은 흥미롭지 않으므로 3 상 시험을 위해 5,000 명을 모집 할 이유가 없습니다).

질문 한 내용을 해결하려면

1. ???

2. 다중도는 데이터 처리 방법에 대한 명확한 결정 규칙으로 이어지지 않기 때문에 어렵습니다. 예를 들어, 평균 차이에 대한 간단한 검정에 관심이 있다고 가정하십시오. 동료들의 무한한 항의에도 불구하고, t- 검정이 데이터의 샘플링 분포에 관계없이 평균의 차이를 감지하도록 잘 보정되었음을 쉽게 알 수 있습니다. 우리가 번갈아 가면서 그들의 길을 찾았다 고 가정하자. 그들은 잘 알려진 분포 테스트 (qqplot의 교정)의 변형을 사용하여 정규성을 테스트하는 것으로 시작합니다. 데이터가 충분히 비정규 인 것처럼 보이면 데이터가 잘 알려진 변환을 따르는 지 묻고 Box Cox 변환을 적용하여 엔트로피를 최대화하는 전력 변환 (대수)을 결정합니다. 명백한 수치가 튀어 나오면 그들은 그 변형을 사용할 것입니다. 그렇지 않으면 "배포가없는"Wilcoxon 테스트를 사용합니다. 이 임시 이벤트 시퀀스의 경우 단순하고 어리석은 t- 검정이 충분했을 때의 평균 차이에 대한 간단한 검정을 위해 교정 및 검정력을 계산하는 방법을 기대할 수 없습니다. 나는 이와 같은 어리석은 행동이 수학적으로 Hodge의 초 고효율 추정에 연결될 수 있다고 생각합니다. 특정 가설 하에서 고출력 추정기는 우리가 진실로 원합니다. 그럼에도 불구하고이 과정은 s 초 고효율 추정 : 특정 가설 하에서 고전력 추정기는 우리가 진실되고 싶어합니다. 그럼에도 불구하고이 과정은 s 초 고효율 추정 : 특정 가설 하에서 고전력 추정기는 우리가 진실되고 싶어합니다. 그럼에도 불구하고이 과정은하지 통계적 위양성 에러율이 제어되지 않아.

3. 임의의 데이터 세트에서 트렌드를 잘못 발견 할 수 있다는 개념은 아마도 "문 채선 통계 그리드" 라고하는 Martin의 잘 작성된 기사로 거슬러 올라갑니다 . 이 글은 아주 잘 읽히고 1984 년으로 거슬러 올라갑니다. 우리가 현재 알고있는 기계 학습의 황금 송아지가 우리에게 태어났습니다. 실제로, 정확하게 언급 된 가설은 반증 할 수 있지만, 데이터 중심 사회에서 유형 1 오류는 이전보다 훨씬 더 비싸게 증가했습니다. 예를 들어, 백일해 사망을 초래 한 백신 백신 연구의 위조 된 증거를 고려하십시오. 백신의 공개 방어에 박차를 가한 결과 는 단일 연구 와 관련이 있다(잘못되었지만 외부 연구로는 확인되지 않았습니다). 결과를 수행하고 정직하고 선의의 증거를보고하는 윤리적 자극이 있습니다. 증거는 얼마나 강력합니까? 그것은 당신이 얻는 p- 값과는 거의 관련이 없지만, 당신이 말한 p- 값은 중요하다고 말할 것입니다. 또한 최종 확인 테스트에서 다른 것으로보고 된 경우에도 데이터를 퍼징하면 p의 값이 변경됩니다.

4. 예! Cochrane 보고서와 같은 저널에 의해 출판 된 메타 분석에서 테스트 결과의 분포가 noraml보다 이봉적인 것으로 보이며 긍정적 인 결과와 부정적인 결과 만 저널로 만들어 졌다는 것을 알 수 있습니다. 이 증거는 임상 실습에서 누구에게나 혼란스럽고 혼란 스러울 수 있습니다. 대신 null 결과 (공개 결과 에 관계없이 관심이있는 연구 결과)를 게시하면 메타 분석이 실제로 의미 있고 대표적인 증거를 나타낼 것으로 기대할 수 있습니다.

첫째, 나는 통계학자가 아니며, 지난 몇 년 동안 내 주변에서 사용되는 방법이 왜 부족한지, 왜 "무엇보다 p- 값은 무엇입니까? " 나는 내 관점을 줄 것이다.

먼저, 한 가지 명확한 질문 :

타임지는 다음과 같이 썼다.

"A power of 0.8 means that of ten true hypotheses tested, only two will be ruled out > because their effects are not picked up in the

데이터;"

이것이 교과서에서 찾은 power 함수의 정의에 어떻게 적합한 지 잘 모르겠습니다. 이는 매개 변수 θ의 함수로 null을 거부 할 확률입니다. 다른 θ로 우리는 다른 힘을 가지므로 위의 인용문을 잘 이해하지 못합니다.

검정력은 θ, 분산 및 표본 크기의 함수입니다. 혼란이 무엇인지 잘 모르겠습니다. 또한 유의성 검정이 사용되는 많은 경우에 평균 1 = 평균 2의 귀무 가설은 항상 거짓입니다. 이 경우 유의성 은 표본 크기의 함수일뿐입니다. Paul Meehl의 "심리학과 물리학 이론 테스팅 : 방법 론적 역설"을 읽어 보시면 저에게 많은 것들이 명확 해졌으며 적절한 답변을 본 적이 없습니다. 폴 미엘 (Paul Meehl)은 그의 이름을 검색하여 찾을 수있는 몇 가지 다른 논문을 가지고 있습니다.

저의 정치 / 경제 분야에서 학자들은 이용 가능한 모든 국가 별 데이터를 사용합니다. 따라서 여기서 샘플을 다루는 것에 대해 걱정하지 않아야합니까?

Simmons 2011 논문을 읽으면 이것은 언급 된 "p-hacking"기술 중 하나 일뿐입니다. 하나의 데이터 세트 만 있고 아무도 선택 샘플을 선택하지 않는 것이 사실이라면 샘플 크기를 늘릴 여지가 없다고 생각합니다.

여러 테스트를 실행하지만 하나의 모델 만보고하는 문제를 다른 분야의 누군가가 논문을 다시 테스트하고 강력한 결과를 얻지 못한 경우 즉시 파업한다는 사실만으로 해결할 수 있습니까? 이를 예상하면 내 분야의 학자들은 견고성 검사 섹션을 포함 할 가능성이 더 높아 여러 모델 사양이 결과를 변경하지 않음을 보여줍니다. 이것으로 충분합니까?

게시 바이어스없이 복제가 발생한 경우 "널 결과의 저널"이 필요하지 않습니다. 견고성 검사 섹션이 있으면 좋지만 연구원이 null 결과로 간주하는 것을 게시하지 못하는 경우에는 충분하지 않습니다. 또한 동일한 데이터에 대한 여러 분석 기술이 동일한 결론에 도달하기 때문에 결과가 강력하다고 생각하지 않습니다. 강력한 결과는 새로운 데이터 에 대한 효과 / 상관 등을 정확하게 예측하는 것입니다 .

복제는 두 번 p <0.05를 얻지 못합니다. 이론이 첫 번째 연구에서 사용 된 것과 다른 효과 / 상관 관계 등을 예측하는 경우 이론이 더 강력한 것으로 간주되어야합니다. 나는 효과 또는 상관의 존재가 아니라 가능한 값 범위와 비교하여 정확한 값 또는 작은 범위의 값을 나타냅니다. 귀무 가설이 거짓 인 경우 증가 / 감소 효과 또는 양 / 음의 상관 관계가 100 % 사실 일 가능성이 높습니다. Meehl을 읽으십시오.

Andrew Gelman과 다른 사람들은 데이터에 관계없이 실제로 존재하지 않는 "패턴"을 찾아서 게시 할 수 있다는 점을 지적합니다. 그러나 이것은 경험적 "패턴"이 이론에 의해 뒷받침되어야한다는 사실과 학문 내 경쟁 이론이 어떤 캠프가 더 많은 "패턴"을 찾을 수 있는지를 찾기 위해 토론 / 레이스에 참여할 것이라는 점을 고려할 때 걱정할 필요는 없다. 다양한 장소에서. 패턴이 실제로 의심스러운 경우 다른 샘플 / 설정에 유사한 패턴이 없으면 배후 이론이 빠르게 사라집니다. 과학이 어떻게 진행되지 않습니까?

연구원이 null 결과를 게시하지 못하면 과학이 제대로 작동하지 않습니다. 또한 두 번째 샘플 / 설정에서 패턴이 발견되지 않았다고해서 초기 연구 조건에서 패턴이 존재하지 않는다는 의미는 아닙니다.

널 (null) 결과에 대한 저널의 현재 추세가 실제로 번성 할 것이라고 가정하면, 널 (null)과 긍정적 인 결과를 모두 집계하고 이들이 모두 테스트하려고한다는 이론에 대해 추론 할 수있는 방법이 있습니까?

이것은 메타 분석 입니다. p- 값이 임의의 임계 값보다 높았 기 때문에 연구자가 결과를 공개하지 않는 것 외에는이 결과에서 널 (null) 결과에 대해 특별한 것은 없습니다. 출판 편향이 존재하면 메타 분석은 출판 편향으로 고통받는 전체 문헌과 마찬가지로 신뢰할 수 없습니다. 그것이 유용 할 수 있지만, 메타 분석은 이론을 평가하는 데있어 이론을 평가하기에 훨씬 열등합니다. 새로운 예측이 전개되고 독립적 인 그룹에 의해 복제되는 한 출판 편향은 거의 중요하지 않습니다.

귀무 가설 검정이 귀무 가설에 관한 것일 뿐이라고 간단히 말하겠습니다. 그리고 일반적으로 귀무 가설은 일반적으로 관심 대상이 아니며, 특히 회귀 유형의 가설 검정에서 "현 상태"가 아닐 수도 있습니다. 종종 사회 과학에는 현상이 없기 때문에 귀무 가설은 매우 임의적 일 수 있습니다. 이것은 시작점이 정의되지 않았기 때문에 분석에 큰 차이를 만듭니다. 따라서 다른 연구는 가용 한 모든 데이터를 기반으로 다른 귀무 가설로 시작합니다. 이것을 뉴턴의 운동 법칙과 비교하십시오-이것을 귀무 가설로 삼고이 출발점에서 더 나은 이론을 찾아보십시오.

또한 p- 값은 정확한 확률을 계산하지 않습니다. 꼬리로 더 이동할 때 대립 가설이 더 가능성이 높지 않으면 꼬리 확률에 대해 알고 싶지 않습니다. 당신이 정말로 원하는 것은 이론이 실제로 본 것을 얼마나 잘 예측하는지입니다. 예를 들어, "라이트 샤워"의 확률이 50 %라고 예측하고 경쟁 업체가 75 %의 확률을 예측한다고 가정합니다. 이것은 올바른 것으로 판명되었으며 가벼운 샤워가 보입니다. 이제 어떤 날씨가 올바른지 결정할 때, "뇌우"의 확률이 40 % 일 가능성에 대한 추가 크레딧을주지 말거나 "뇌우"에 0 %의 기회를 준 경쟁 업체로부터 신용을 빼앗아서는 안됩니다.

$I$$D$$H$

$H$$BF=\infty$$H$$0.001$

$104,490,000$$52,263,471$$y\sim Bin(n,0.5)$$y|\theta\sim Bin(n,\theta)$$\theta\sim U(0,1)$$y\sim BetaBin(n,1,1)\sim DU(0,\dots,n)$$p=0.00015$

어떻게 이럴 수있어? Bayes Factor는 작은 p- 값에도 불구하고 귀무 가설을 지원합니까? 글쎄, 대안을보십시오-관측 값이 가능성이 있습니다.$\frac{1}{n+1}=0.0000000096$$0.00000011$

이것은 Gelman이 비판하는 예에서 특히 그렇습니다. 실제로 테스트 된 가설은 단 하나 뿐이며, a) 대안 설명이 무엇인지 (특히 혼란스럽고 통제되지 않은 영향에 대해) b) 얼마입니까? 이전 연구에 의해 뒷받침 된 대안들, 그리고 가장 중요한 것은, c) 널과 실질적으로 다른 예측 (있는 경우)은 무엇인가?

$\overline{H}$$H_1,\dots,H_K$$H_k$$0.01$$0.1$

$K$