사후 테스트의 문제점은 무엇입니까?

저의 통계 교수는 이렇게 말합니다. 제가보고있는 모든 책은 다음과 같습니다. 사후 테스트 는 비 과학적입니다. 먼저 이론에서 가설을 도출 한 다음 데이터 를 수집하고 분석해야합니다.

그러나 나는 정말로 문제가 무엇인지 이해하지 못한다.

다른 자동차 색상에 대한 판매 수치를보고 다른 색상의 자동차에서 거리에서 가장 큰 자동차 그룹을 판매했다는 가설이 흰색이라고 가정합니다. 그래서 어느 날 어느 거리에 앉아 나를 지나가는 모든 차의 색을 주목합니다. 그런 다음 테스트를 수행하고 무엇이든 찾습니다.

이제, 내가 지루하고 어느 날 어느 거리에 앉아 있고 나를 지나간 모든 차의 모든 색을 주목했다고 가정 해 봅시다. 그래프를 좋아하기 때문에 예쁜 히스토그램을 그리고 흰색 자동차가 가장 큰 그룹을 형성한다는 것을 알았습니다. 거리에있는 대부분의 자동차는 흰색이고 테스트를 수행한다고 생각합니다.

사후 검정 결과의 결과 또는 해석이 이론 기반 * 가설 검정과 어떻게 다른 이유는 무엇입니까?

_{어쨌든 사후 테스트의 반대 이름은 무엇입니까?}

우주에 대한 우리의 지식 (지구가 태양을 중심으로 움직입니다)에 대한 대부분의 지식은 관찰에서 추론 된 것으로 추론하고 싶습니다.

물리학 에서 지난 천 년간 태양이 태양에서 떠오르고 있다는 것이 우연 이 아니라고 가정하는 것은 완벽하게 괜찮 습니다.

"오늘 밤에 가장 놀라운 일이 일어났다는 것을 알고 있습니다. 강의로가는 길에 여기 와서 주차장을 방문했습니다. 그리고 무슨 일이 있었는지 믿지 못할 것입니다. 나는 면허증이있는 차를 보았습니다. 판 ARW 357. 당신은 상상할 수 있습니까? 그 주에있는 수백만의 번호판 중에서 오늘 밤에 그 특정한 것을 볼 수있는 기회는 무엇입니까? " 리차드 페이 먼

나는이 문제의 깊은 기술적 측면을 설명 할 수있는 입장이 아니라고 생각한다. 그러나 나는 그들 중 많은 사람들이 직관으로 축소 될 수 있다고 생각합니다.

첫 번째 설정에서는 새로운 데이터 (설계된 실험에서)를 검증하는 몇 가지 가설로 시작합니다. 판매 수치를 연구하면 잘 만들어진 잘 설계된 실험으로 이어질 수 있으며, 여기서 통계의 힘, p- 값, 표본 크기 및 기타 많은 것들과 같은 대답의 강도를 결정할 수 있습니다.

두 번째 설정은 무엇보다도 답의 강도에 대해 아무것도 결정하지 않는다는 것입니다. 이것은 하나의 문제입니다. 두 번째 문제는 테스트에 사용 된 동일한 샘플에서 가설을 추출하면 무작위 패턴이 중요한 정보로 해석 될 가능성이 매우 제어 불가능하게 증가한다는 것입니다. 당신이하는 일은 무언가를 알아 차리고 (흰색 자동차가 많이 있음) 자신에게 이것이 중요한지 물어보십시오. 요점은 샘플에서 볼 수있는 주목할만한 사실 만 선택 하여 다른 가설을 버린다는 것입니다. 일부 가설에 대해 유리한 조건을 만들었 으므로 대부분의 선험적 통계 검정의 가정을 어기 게됩니다.

이 누출 에 대해 알지 못했던 것처럼 행동하는 것은 과학적이지 않으며 그것이 사실이 아닌 경우 모든 가정에 대한 실험이라고 가정하십시오. 이 경우 사후 분석을 사용하여 가설을 공식화하고 테스트하기 위해 새로운 실험을 설계하는 것이 과학적입니다.

먼저 데이터를 수집 한 다음 데이터를 기반으로 이론을 구성하면 관찰 내용에 스토리를 적용 할 위험이 있습니다. 문제는 우리 인간이 이야기를 잘 작성한다는 것입니다. 다시 말해, 스토리가 충분히 복잡하다면 어떤 데이터 라도 스토리에 의해 "설명"될 수 있습니다.

이 과정은 좋은 일화를 제공합니다. 그러나 현실을 설명하고 좋은 예측을 제공해야하는 이유는 없습니다. 이를 위해 모델 을 설정하고 확인해야 합니다.

xkcd는이 현상이 스포츠 "commentary"에 퍼져 있다고 지적했다 .

관련은 흰 족제비 의 현상이다 : 존재하지 않는 패턴을 본다. 예를 들어 화성의 위성 사진에서 사람들이 본 "얼굴"을보십시오 :

또한 더 많은 데이터를 수집 할 때 관찰을 "설명"하기 위해 스토리를 더 기괴한 방식으로 조정 하지 않도록주의해야합니다 .

과학은 가설 (물론 경험에 의해 동기 부여됨 )을 형성하고 이러한 가설을 기반으로 예측 한 다음 테스트하여 작동합니다. 과거의 무언가를 관찰하고,이 관측치를 이론으로 일반화 한 다음, 과거 자체를 이론을 자동으로 검증하는 일종의 소급 적 실험으로 취급하는 것이 합리적일까요? 전체 질문은 과거에 한 번 효과가 있었는지 여부가 아니라 이론이 얼마나 잘 일반화 되었는가였습니다. 그렇기 때문에 데이터에서 제안한 테스트 가설 은 나쁜 과학으로 간주됩니다.

교수와 다른 답변은 사후 분석에 문제가 있다는 것이 옳습니다. 그러나 사후 분석에서 많은 훌륭한 과학이 나온다는 것도 맞습니다. 핵심은 적절하게 설계된 실험이 선호되어야하며 사후 분석은 실제 발견에 의해 허위 유물이 누락되는 것을 방지하기 위해 특별한 도구를 사용하여주의를 기울여야한다는 것입니다. 잘못된 발견 비율 에 대한 Wikipedia 기사 는 문제에 대한 통찰력을 제공 할 수 있습니다.

몇 가지 예를 들자면 다음과 같습니다.

• 우리가 전 세계 소 개체에 대해 생체 측정을하면 소에 두 개의 콧 구멍이 있다고 결론 지을 수 있습니다. 그것은 실제로 사후 분석이지만 대부분의 생물학, 화 산학 또는 역사는 이런 식으로 지어졌습니다. 소가 두 개의 콧 구멍을 가지고 있다는 사실을 무시하지 않는 이유는 그것이 너무 압도적이라는 증거입니다.
• 우리는 지정된 가축 농장에서 전년도에 태어난 송아지에서 데이터를 가져옵니다. 우리는 매월 화요일 보름달 아래에서 새로 태어난 송아지의 50 % 이상이 여성 이었다는 것을 알고 있습니다. 우리가 이전에 그러한 종류의 여성 송아지를 생산한다는 가설을 세웠다면, 가설 검정을 수행하고 그 가설을 수용 (또는 거부) 할 수 있습니다. 그러나 사후 분석 일 뿐이라는 사실을 고려하면 가짜 현상을 거부하기에 충분한 증거는 아닙니다.

낙하산이 일화로서 유용하다는 모든 증거 를 아이러니하게 무시하는 기사가 종종 있습니다. 이것은 사후 분석에 근거한 특히 나쁜 증거입니다.

스테판 콜라 사 (Stephan Kolassa)의 답변에서 사용 된 좋은 예를 사용하려면 화성에서 얼굴을 닮은 몇 가지 어두운 점은 홍반으로 기각 될 수 있지만 Leonardo Da Vinci 의 최후의 만찬 은 아주 작은 세부 사항까지 재현 할 수 없었습니다.

제안을 뒷받침하는 이론이 없다면 제안이 검증 되더라도 우연의 일치 일 수 있으며 아무 것도 증명하지 못합니다. 예를 들어, 나는 태양이 떠 올랐을 때 변기가 있고 지난 10 년 동안 그 일을 해왔다는 것을 알게되었습니다.이 데이터에 근거한 사후 분석에 따르면 변기 일과 해가 뜨는 사이에 관계가 있음을 알 수 있습니다. 반면 존재하는 것은 단지 우연의 일치입니다. 변기 또는 그 반대로하기 때문에 해가 뜨지 않습니다.

인생은 우연의 일치로 가득합니다. 이론적 근거 제안은 그러한 우연의 일치 또는 의사 관계를 제거합니다.

다음은 유용 할 수있는 직관입니다. 당신이 지루하고 자동차를 세더라도, 당신은 여전히 ​​당신이 보는 것이 임의의 과정의 결과라는 것을 기억해야합니다. 특히 자동차의 색상 이 다를 수 있습니다 .

따라서 가장 빈번한 색상이 흰색이라는 가설을 세울 경우 실제로는 그럴 수 있지만 가장 빈번한 색상은 빨간색 일 수 있지만 특정 실험에서 가장 빈번한 색상 일 수 있습니다 (항상 가능함) ).

이제 사후 분석 을 수행 하면 흰색이 가장 빈번한 지 테스트하고 데이터에 매우 가설이 있다고 제안하면 흰색이 가장 빈번하다는 결론을 내릴 수 있습니다. 적어도 데이터는 절대 모순 되지 않습니다. (사후) 가설.