연구원 1은 1000 회귀 회귀, 연구원 2는 1 회 회귀, 둘 다 동일한 결과를 얻습니다. 서로 다른 추론을해야합니까?

한 연구원이 데이터 세트를 탐색하고 1000 개의 서로 다른 회귀 분석을 실행한다고하는데 그 중 하나의 흥미로운 관계를 발견했다고 상상해보십시오.

이제 같은 데이터를 가진 다른 연구원 이 단 한 번의 회귀 만 실행 한다고 상상해보십시오 . 다른 연구원이 1000 번의 회귀를 찾은 것과 같은 결과 인 것으로 나타났습니다. 연구원 2는 연구원 1을 모른다.

연구원 1이 연구원 2와 다른 추론을해야합니까? 왜? 예를 들어, 연구원 1은 다중 비교 수정을 수행해야하지만 연구원 2는 수행하지 않아야합니까?

연구원 2가 먼저 단일 회귀 분석을 보여 주면 어떤 추론을 하시겠습니까? 그 연구원 1이 그의 결과를 보여준 경우, 추론을 바꿔야합니까? 그렇다면 왜 중요한가?

PS 1 : 가상 연구자에 대해 이야기하는 것은 문제 추상적를 만드는 경우,이 생각 : 상상 당신이 사용할 수있는 가장 좋은 방법을 사용하여 용지에 대한 하나의 회귀를 달렸다. 그런 다음 다른 연구원은 동일한 데이터를 사용하여 1000 개의 서로 다른 회귀를 탐색 했습니다 . 두 사람이 다른 추론을해야합니까? 증거는 두 경우 모두 동일합니까? 다른 연구원 결과를 알고 있다면 추론을 바꿔야합니까? 대중은 두 연구의 증거를 어떻게 평가해야합니까?

추신 2 : 가능하면 구체적이고 수학적 / 이론적 정당성을 제공하도록 노력하십시오!

다음은 귀하의 질문에 대한 "베이지안"경사입니다. 동일한 데이터 세트가 주어 졌을 때 다른 사전 정보를 가진 두 사람이 다른 답변 / 결론을 받아야하는 상황을 설명했다고 생각합니다. 더 둔감하고 극단적 인 예는 우리가 어떤 가설에서 회귀 모델 파라미터와 결론을 추측하는 "연구자 1b"가 있다고 가정합니다. 회귀 분석을 실행하는 것은 개념 상 추측과 너무 멀지 않습니다.$1000$

내가 생각하고있는 것 ... 위의 질문에서 연구원들의 사전 정보 에 대해 무엇을 배우는가 ? - 연구원 1은 아마도 모델의 평면 이전이 연구원이이이자의 모델에 대한 날카로운 사전 - (가정 있다 둘 다 맞는 모델)$P (M_k|I_1)=\frac {1}{1000}$$P (M_1|I_2) =1$$M_1$

이것은 분명히 단순화 된 것이지만 여기서 볼 수 있습니다. 우리는 이미 데이터없이 연구원 2의 추론에 더 많은 비중을두고 있습니다. 하지만이 데이터들은 한 번에 모두 걸릴 계정에 대한 1의 사후 확률 연구원, 참조 증가 ... 더 나은 "이었기 때문에 (... 우리는 이것을 알고 " 다른 모델 보다 ...). 연구원 2의 후부는 더 이상 집중할 수 없으며 이미 과 같습니다 . 우리가 모르는 것은 대안에 비해 데이터가 을 얼마나 지원 했는지 입니다. 우리는 모르는 다른 모델은 예를 들어, 연구원 1의 실질적인 결론을 변경하는 방법, 모든 가정입니다$M_1$$P (M_1|DI)>>P (M_1|I)$$999$$1$$M_1$$1000$모형에는 공통 항이 포함되어 있으며 해당 변수에 대한 회귀 모수는 모두 보다 훨씬 큽니다 (예 : 모든 모형의 ). 그런 다음 많은 모델이 적합하더라도 상당히 긍정적 인 효과를내는 데 아무런 문제가 없습니다.$1000$$0$$p-value <10^{-8}$

또한 데이터 세트가 얼마나 큰지 말하지 않아도됩니다. 관측치와 공변량 / 예측 변수 / 독립 변수 가있는 데이터 세트에 대해 이야기하는 경우 연구원 1은 모형에 대해 여전히 불확실 할 수 있습니다. 그러나 연구원 1이 관측치를 사용 하는 경우 모델을 결정적으로 결정할 수 있습니다.10 2 , 000 , $100$$10$$2,000,000$

서로 다른 정보로 시작하고 동일한 데이터를 본 후에도 다른 결론을 계속 내리는 두 사람에게는 근본적으로 잘못된 것은 없습니다. 그러나 "모델 공간"이 겹치고 데이터가이 "중첩 영역"을 지원하는 경우 동일한 데이터를 보면 서로 더 가깝게됩니다.

통계적 해석은 당신이 원하는 것보다 수학적 치료보다 명확하지 않습니다.

수학은 명확하게 정의 된 문제에 관한 것입니다. 예를 들어 완벽한 주사위를 굴 리거나 항아리에서 공을 그립니다.

통계는 수학이 지침을 제공하지만 (정확한) 솔루션이 아닌 수학에 적용됩니다.

이 경우 상황이 중요한 역할을한다는 것이 분명합니다. 회귀를 수행 한 다음 강도를 표현하기 위해 일부 p 값을 계산 (수학)하면 p 값의 해석 (통계) 및 값은 무엇입니까?

• 연구원 1 이 수행 한 1000 회귀 분석의 경우 실제로 실마리가없고 데이터를 탐색 할 때 이런 유형의 상황이 발생하기 때문에 결과가 훨씬 약합니다. p 값은 무언가 있을 수 있음을 나타냅니다 .

  따라서 연구원 1이 수행 한 회귀 분석에서 p 값은 분명히 가치가 떨어집니다. 그리고 연구원 1 또는 연구자 1의 결과를 사용하는 누군가가 회귀로 무언가를 수행하려면 p 값을 수정해야합니다. (연구자 1과 연구자 2의 차이가 충분하지 않다고 생각하는 경우, 연구자 1이 다중 비교를 위해 p 값을 수정할 수있는 다양한 방법에 대해 생각하십시오)

• 연구원 2에 의해 수행 된 단일 회귀의 경우 결과는 훨씬 더 강력한 증거입니다. 그러나 그것은 회귀가 독자적인 것이 아니기 때문입니다. 우리는 그 이유를 포함해야 하는 이유 연구원 2는 하나의 회귀했다. 그는 단일 회귀가 데이터에 대한 좋은 모델이라고 이미 믿어야 할 정당한 이유가 있었기 때문일 수 있습니다.

• 연구원 1과 2에 의해 수행 된 회귀의 설정은 매우 다르며, 같은 문제에 대해 동시에 두 가지를 만나는 것은 아닙니다 . 이 경우라면

  • 연구원 2는 매우 운이 좋았습니다

    이것은 드문 일이 아니므로 문학을 해석 할 때이 문제를 더 잘 해결해야하며 전체 연구 그림의 출판을 개선해야합니다. 연구원 2와 같은 천 명의 연구원이 있고 그 중 한 명만이 성공을 거둔 것을 볼 수 있다면 다른 999 명의 연구원의 실패를 보지 못했기 때문에 연구원 1과 같은 사례가 없다고 잘못 생각할 수 있습니다.

  • 연구원 1은 그다지 똑똑하지 않았고 회귀에 대해 엄청나게 불필요하게 탐색했지만, 처음부터 그 단일 한 것이어야한다는 것을 알았을 수 있으며, 더 강력한 테스트를 수행 할 수있었습니다.

    연구원 1보다 똑똑한 외부인 (처음부터 추가 999 회 회귀에 신경 쓰지 않음)의 작업에 대해 읽으면 결과의 중요성에 더 많은 힘을 줄 수 있지만 여전히 연구원의 결과 2.

    999 명의 불필요한 추가 회귀를 교정 할 때 연구원 1이 너무 보수적이었을 수 있지만, 우리는 연구가 지식의 빈틈에서 수행되었다는 사실을 무시할 수 없으며 유형 1보다 운이 좋은 연구원을 찾을 가능성이 훨씬 높습니다 2.

흥미로운 관련 이야기 : 천문학에서 우주 배경을 더 정밀하게 측정하기 위해 더 나은 계측기를 계획 할 때 데이터의 절반 만 공개한다고 주장하는 연구자들이있었습니다. 데이터를 수집 할 샷이 하나뿐이기 때문입니다. 수십 명의 다른 연구자들이 모든 회귀 분석을 수행 한 후 (그리고 이론가의 놀라운 변형과 창의성으로 인해 데이터의 모든 가능한 임의의 충돌에 확실히 부합 할 수 있음), 검증 할 새로운 실험 (즉, 완전히 새로운 우주를 생성 할 수없는 경우).

간단한 이야기 ​​: 사용 된 방법이나 수집 된 데이터에 대해 알지 못하므로 질문에 대한 충분한 정보가 없습니다.

긴 대답 ... 여기의 실제 질문은 각 연구원이 수행하고 있는지 여부입니다.

• 엄격한 과학
• 엄격한 의사 과학
• 데이터 탐색
• 데이터 준설 또는 p- 해킹

그들의 방법은 결과 해석의 강도를 결정합니다. 일부 방법은 다른 방법보다 소리가 적기 때문입니다.

엄격한 과학에서 우리는 가설을 개발하고, 혼란스러운 변수를 식별하고, 가설 외부의 변수에 대한 제어를 개발하고, 테스트 방법을 계획하고, 분석 방법론을 계획하고, 테스트를 수행 / 데이터를 수집 한 다음 데이터를 분석합니다. 분석 방법은 테스트가 수행되기 전에 계획됩니다. 가설에 동의하지 않는 데이터 및 분석을 수용해야하기 때문에 이것은 가장 엄격한 것입니다. 흥미로운 것을 얻기 위해 메소드를 변경하는 것은 허용되지 않습니다. 연구 결과에 대한 새로운 가설은 모두 같은 과정을 거쳐야합니다.

의사 과학에서 우리는 종종 이미 수집 된 데이터를 가져옵니다. 결과에 편향을 쉽게 추가 할 수 있기 때문에 윤리적으로 사용하기가 더 어렵습니다. 그러나 윤리 분석가를위한 과학적 방법을 따르는 것이 여전히 가능합니다. 그래도 적절한 제어를 설정하기가 어려울 수 있으며 연구하고 주목해야합니다.

데이터 탐색은 과학을 기반으로하지 않습니다. 구체적인 가설은 없습니다. 혼란스러운 요소에 대한 사전 평가는 없습니다. 또한 사전 지식이나 모델링에 의해 결과가 오염 될 수 있고 유효성 검사에 사용할 새 데이터가 없기 때문에 동일한 데이터를 사용하여 분석을 되돌아 가서 다시 실행하기가 어렵습니다. 탐색 적 분석에서 발견 된 가능한 관계를 명확하게하기 위해 엄격한 과학 실험이 권장됩니다.

데이터 준설 또는 P- 해킹은 "분석가"가 예기치 않은 또는 알 수없는 답변을 찾기 위해 여러 테스트를 수행하거나 데이터를 조작하여 결과를 얻는 곳입니다. 결과는 단순한 우연 일 수도 있고, 변수를 혼동 한 결과 일 수도 있고, 의미있는 효과 크기 나 검정력을 갖지 않을 수도 있습니다.

각 문제에 대한 몇 가지 해결 방법이 있지만 해당 해결 방법을 신중하게 평가해야합니다.