상충되는 결과를 얻을 때 어떤 것이 더 나은 연구인지를 어떻게 감지합니까?

당신은 종종 반대 방향의 결과를 결론 짓는 다양한 연구를 언론에서 접하게됩니다. 이것들은 새로운 처방약의 테스트 또는 특정 영양소 또는 그 문제에 대한 다른 장점과 관련이 있습니다.

그러한 두 가지 연구가 상충되는 결과에 도달하면 두 가지 중 어느 것이 진실에 가장 가까운 지 어떻게 알 수 있습니까?

두 가지 실험 연구 또는 실제 메타 분석을 검토하는 경우 Jeromy의 대답 으로 충분 하다고 생각 합니다. 그러나 종종 우리는 두 가지 비 실험적 연구에 직면하고 있으며,이 두 가지 다른 결과의 타당성을 평가하는 일을합니다.

으로 질문 사이러스의 식료품 목록을 제시, 주제 자체는 짧은 응답에 순종하지 않고, 전체 책은 주소와 같은 질문에 대한 목표 본질에 있습니다. 실험 이외의 데이터에 대한 연구에 관심이있는 분은 다음을 읽어 보시기 바랍니다.

William R. Shadish, Thomas D. Cook, Donald Thomas Campbell이 일반화 한 인과 추론 을 위한 실험적이고 준 실험적인 설계 (이 텍스트의 이전 버전도 마찬가지라고 들었습니다).

Jeromy가 언급 한 몇 가지 항목 (더 큰 표본 크기 및 더 큰 방법 론적 엄격함)과 Cyrus가 언급 한 모든 항목은 Campbell과 Cook이 "내부 유효성"이라고하는 것으로 간주됩니다. 여기에는 연구 설계의 측면과 X와 Y의 관계를 평가하는 데 사용되는 통계적 방법이 포함됩니다. 특히 비평가로서 우리는 결과를 편향시키고 결과의 신뢰성을 떨어 뜨릴 수있는 측면에 대해 우려하고 있습니다. 이것은 통계 분석에 전념하는 포럼이므로 많은 답변이 통계적 방법을 중심으로하여 평가중인 관계에 대한 편견없는 추정을 보장합니다. 그러나 통계 분석과 관련이없는 연구 설계의 다른 측면은 통계 분석에서 어떤 엄격한 길이를가더라도 조사 결과의 유효성을 감소시키는 것입니다 (예 : 실험 충실도의 여러 측면에 대한 Cyrus의 언급은 해결 될 수는 있지만 통계적 방법, 그리고 그것이 발생하는 경우 항상 연구 결과의 유효성이 감소합니다). 여기에 언급되지 않은 실험 이외의 연구 결과와 결과의 신뢰성을 구별 할 수있는 연구 설계의 측면을 비교할 때 평가해야 할 내부 타당성 측면이 많이 있습니다. 여기에 너무 자세하게 들어가는 것이 적절하지 않다고 생각합니다.

Campbell과 Cook은 또한 연구의 "외부 타당성"을 언급합니다. 연구 설계의 이러한 측면은 범위가 훨씬 작으며 내부 유효성만큼주의를 기울일 필요는 없습니다. 외부 타당성은 본질적으로 결과의 일반화 가능성을 다루며, 평신도는 종종 주제에 익숙한 한 외부 타당성을 합리적으로 잘 평가할 수 있다고 말합니다. 긴 이야기는 Shadish 's, Cook 's and Campbell 's book을 읽습니다.

메타 분석 문헌은 귀하의 질문에 관련이있다. 메타 분석 기법을 사용하면 여러 연구에 걸쳐 관심의 효과를 추정 할 수 있습니다. 이러한 기술은 종종 표본 크기 측면에서 연구에 가중치를 둡니다.

메타 분석 맥락에서 연구자들은 고정 효과 및 무작위 효과 모델에 대해 이야기한다 ( Hunter and Schmidt, 2002 참조 ). 고정 효과 모델은 모든 연구가 동일한 모집단 효과를 추정한다고 가정합니다. 랜덤 효과 모델은 추정되는 모집단 효과가 연구에서 다르다고 가정합니다. 랜덤 효과 모델이 일반적으로 더 적합합니다.

더 많은 연구가 특정 관계를 살펴보면서 더 정교한 접근이 가능해집니다. 예를 들어,인지 된 품질과 같은 다양한 속성의 관점에서 연구를 코딩 한 다음 효과 크기가 이러한 연구 특성에 따라 달라지는지를 경험적으로 조사 할 수 있습니다. 품질 이외에도 관계 (예를 들어, 샘플의 특성, 용량 수준 등)를 완화시키는 연구들간에 이론적으로 관련된 약간의 차이가있을 수 있습니다.

일반적으로 다음과 같은 연구를 신뢰하는 경향이 있습니다.

• 더 큰 샘플 크기
• 더 큰 방법 론적 엄격
• 확인 적 오리엔테이션 (예 : 100 가지 영양소와 50 가지 건강 결과 사이의 상관 관계를 테스트 한 연구가 아님)
• 이해 상충의 부재

그러나 그것은 당신이 충돌하는 연구 결과에 대한 그럴듯한 설명으로 무작위 표본 추출과 연구 간 이론적으로 의미있는 차이를 유지해야한다고 말했습니다.

대상 집단의 잠재적 편향이나 변동이있을 경우 소스를 면밀히 조사 할 때까지 메타 분석을 고려합니다. 이것들이 치료 효과에 관한 연구라면, 치료가 무작위로 할당 되었습니까? 프로토콜과 편차가 있습니까? 준수하지 않았습니까? 누락 된 결과 데이터가 있습니까? 동일한 프레임에서 샘플을 추출 했습니까? 참여를 거부 했습니까? 구현 오류? 표준 오류가 올바르게 계산되어 클러스터링을 설명하고 다양한 매개 변수 가정에 강력 했습니까? 이 질문에 답한 후에야 메타 분석 문제가 시작됩니다. 신랄한 영웅적 가정을 기꺼이하지 않는 한 두 가지 연구에서 메타 분석이 적절한 경우는 드 rare니다.