대규모 연구에서 작은 효과를 찾는 것이 출판 편향을 나타내는 이유는 무엇입니까?

여러 방법론 논문 (예 : Egger et al 1997a, 1997b)은 아래의 깔때기 그림을 사용하여 메타 분석에 의해 드러난 출판 편향에 대해 논의합니다.

1997b 논문은 "게시 편향이 존재한다면, 발표 된 연구 중에서 가장 큰 것이 가장 작은 영향을보고 할 것으로 예상된다"고 말합니다. 그러나 왜 그렇습니까? 이 모든 것이 우리가 이미 알고있는 것임에 틀림 없다. 작은 효과는 큰 샘플 크기에서만 탐지 할 수있다 . 아직 발표되지 않은 연구에 대해서는 아무 말도하지 않았습니다.

또한, 인용 된 연구는 깔때기 플롯에서 시각적으로 평가 된 비대칭 성이 "작은 규모의 혜택을 줄이면서 소규모 시험을 선택적으로 발표하지 않았 음을 나타냅니다." 그러나 다시, 나는 출판 된 연구의 어떤 특징 들이 출판 되지 않은 저작물에 대해 우리에게 어떤 것을 말해 줄 수 있는지 이해할 수 없다 !

참고
에거, M. 스미스, GD, 필립스, (1997). 메타 분석 : 원칙 및 절차 . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., & Minder, C. (1997). 간단한 그래픽 테스트로 메타 분석의 편차를 감지했습니다 . BMJ , 315 (7109), 629-634.

여기에 대한 답변은 모두에게 +1입니다. 이 효과가 극단적 인 경우 퍼널 플롯 용어로 어떻게 보일 수 있는지 보여주고 싶었습니다. 아래에서는 과 같은 작은 효과를 시뮬레이션하고 크기 가 2에서 2000 사이 인 표본을 그립니다.$N(.01, .1)$

플롯의 회색 점은 엄격한 체제 하에 게시되지 않습니다 . 회색 선은 "불량 p- 값"연구를 포함하여 표본 크기에 대한 효과 크기의 회귀이며, 빨간색 선은 제외합니다. 검은 선은 실제 효과를 보여줍니다.$p < .05$

보다시피, 출판 편향 하에서 소규모 연구는 효과 크기를 과대 평가하고 큰 규모의 연구는 효과 크기를 진실에 더 가깝게보고하는 경향이 강하다.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{reprex 패키지 (v0.2.1) 에서 2019-02-20에 작성}

첫째, 우리는 "간행 편견"이 무엇인지, 그것이 실제로 문학에 영향을 미치는 것에 어떤 영향을 미칠지에 대해 생각할 필요가 있습니다.

출판 편견에 대한 상당히 간단한 모델은 일부 데이터를 수집하고 인 경우 게시하는 것입니다. 그렇지 않으면, 우리는하지 않습니다. 그렇다면 이것은 우리가 문헌에서 보는 것에 어떤 영향을 미칩니 까? 우선, (Wald 통계가 사용되는 것으로 가정 보장합니다 . 이제 한 가지 요점은 이 실제로 작 으면 는 비교적 크고되어 필요한 게시를 위해.$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

이제 실제로 는 상대적으로 작다고 가정하십시오. 200 개의 실험, 100 개의 샘플 크기로, 100 개의 샘플 크기로 실험을 실행한다고 가정합니다. 100 개의 매우 작은 샘플 크기 실험 중 간단한 게시 바이어스 모델에 의해 게시 될 유일한 것은 값이 큰 것입니다. 임의의 오류로 인해 . 그러나 샘플 크기가 큰 100 회의 실험에서는 훨씬 더 작은 값의 가 게시됩니다. 따라서 큰 실험이 작은 실험보다 체계적으로 작은 효과를 나타내면$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ 실제로 실제 실험을하는 소규모 실험에서 일반적으로 보는 것보다 훨씬 작습니다.

기술 노트 : 큰및 / 또는 작은 는 됩니다. 그러나 효과 크기는 일반적으로 오차 항의 표준 편차를 기준으로 생각되므로이 두 조건은 본질적으로 동일합니다.$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

이 문장을 다른 방식으로 읽으십시오.

출판 편견이 없으면 효과 크기는 연구 크기와 무관해야합니다.

즉, 하나의 현상을 연구하는 경우 효과 크기는 샘플 / 연구가 아니라 현상의 속성입니다.

효과 크기의 추정치는 여러 연구에 따라 달라질 수 있지만, 연구 크기가 증가함에 따라 체계적으로 감소하는 효과 크기가있는 경우 편향이 있음을 나타냅니다. 요점은이 관계는 출판되지 않은 낮은 효과 크기를 보여주는 추가적인 작은 연구가 있음을 시사하며, 그것이 발표되어 메타 분석에 포함될 수 있다면 전체적인 인상은 효과 크기가 작다는 것입니다 발표 된 연구 서브 세트에서 추정 한 것보다

여러 연구에서 효과 크기 추정치의 분산은 샘플 크기에 따라 달라 지지만 치우침이없는 경우 낮은 표본 크기에서 동일한 수의 언더 및 오버 추정값을 볼 수 있습니다.