사회 과학에서 발표 된 대부분의 상관 관계는 신뢰할 수 없으며 이에 대해 어떻게해야합니까? [닫은]

약탈 저널 의 관행을 밝히려는 개인의 "gotcha"-istic 노력의 중요하지만 치열 함에도 불구하고, 사회 과학 연구의 그림자에는 점점 더 근본적인 위협 이있다 (연구자 들이 해결해야 할 여러 가지 문제가 있음 ). 한 관점에 따르면, 우리는 250보다 작은 샘플에서 도출 된 상관 계수 를 신뢰하지 못할 수도 있습니다 .

신뢰할 수있는 상관 계수보다 사회 과학의 측정과의 관계의 존재, 방향 및 강도를 유추하는 데 더 의존하는 테스트를 찾는 것은 어려운 일이다. 그러나 250 개 미만의 사례를 가진 데이터에서 계산 된 상관 계수를 기반으로 두 구성 사이의 관계에 대해 강력한 주장을하는 동료 검토 보고서를 찾기가 쉽지 않을 것입니다.

현재 사회 과학이 직면하고있는 복제 위기 (위의 두 번째 링크 참조)를 고려할 때 (적어도 일부 사회 과학 분야 표준에 의해) 큰 표본에서만 상관 계수의 안정화에 관한이 보고서를 어떻게보아야합니까? 동료 검토 사회 과학 연구의 벽에서 또 다른 균열입니까, 아니면 프레젠테이션에서 과장된 비교적 사소한 문제입니까?

이 질문에 대한 정답이 하나도 없기 때문에 대신이 질문에 대한 리소스를 공유하고 신중하게 고려하고 토론 할 수있는 스레드를 생성하기를 바랍니다 (정확하고 정중하게).

추정 된 실제 상관 계수에 대한 신뢰 구간 추가 $\rho$올바른 방향으로 작은 (그리고 매우 간단한) 첫 걸음이 될 것입니다. 너비는 즉시 샘플 상관의 정확성에 대한 인상을주고 동시에 작가와 청중이 유용한 가설 을 테스트 할 수 있도록합니다 . 위의 절대 표본 상관 계수가 사회 과학 통계 학자와 이야기 할 때 항상 당황한 것은 무엇입니까?$L = 0.3$(또는 다른 한계) 의미있는 것으로 간주되었습니다. 동시에, 그들은 작업 가설을 테스트하고있었습니다$\rho \ne 0$. 이것은 중요하지 않습니다. 아주 작은 모집단 상관 계수가 갑자기 의미있는 것으로 간주되는 이유는 무엇입니까? "올바른"작업 가설은$|\rho| > L$. 에 대한 신뢰 구간$\rho$ 이와 같은 가설은 쉽게 테스트 할 수 있습니다. 구간이 완전히 위에 있는지 확인하십시오. $L$ (또는 아래 $-L$) 및 인구 집단에서도 "실질적인"통계적 연관성을 주장 할 수 있는지 여부를 알고 있습니다.

물론 신뢰 구간을 추가하고 의미있는 테스트를 사용한다고해서 잘못된 샘플링 디자인, 혼란스런 고려 사항 생략 등의 많은 문제를 해결할 수는 없습니다. 그러나 기본적으로 무료입니다. SPSS조차도 그것들을 계산할 수 있다고 생각합니다!

Michael M이 지적한 것처럼 보고 된 상관 관계 또는 다른 추정치의 신뢰도는 신뢰 구간을 사용하여 평가할 수 있습니다. 어느 정도는. 데이터 수집 후 모델을 선택하면 CI가 너무 좁아 질 것입니다. 사회 과학에서 약 95 %의 시간이 걸릴 것으로 예상됩니다 (정직하게 말하면 내 추측입니다).

해결책은 두 가지입니다.

• 우리는 "복제 성 따라서 복제에 실패하면 원래의 효과는 무작위 노이즈 일 뿐이라는 사실을 알 수 있습니다. 더 많은 복제를 수행 (및 자금 지원, 작성, 제출 및 수락)해야합니다. 복제 연구는 점차 존경을 받고 있습니다. 좋은것.

• 두 번째 치료법은 물론 메타 분석. 비슷한 데이터의보고 된 상관 관계가 많은 경우, 그 중 하나가 모두 낮더라도$n$그런 다음 정보를 모아서 무언가를 배울 수 있습니다. 이상적으로는 탐지 할 수도 있습니다출판 바이어스 진행중.