통계적으로 중요하지 않은 연구에 대한 메타 분석이 "중요한"결론으로 이어질 수 있습니까?

메타 분석에는 여러 연구가 포함되어 있으며, 모두 0.05 이상의 P 값을보고했습니다. 전체 메타 분석이 P 값을 0.05 미만으로보고 할 수 있습니까? 어떤 상황에서?

(나는 대답이 예라고 확신하지만 참조 나 설명을 원합니다.)

statistical-significance meta-analysis combining-p-values

메타 분석에 대해서는 잘 모르지만, 가설 검정, 인구 영향 추정치가 포함되어 있지 않다는 인상을 받았습니다.이 경우에는 말할 의미가 없습니다.

— Kodiologist

글쎄요, 메타 분석은 하루가 끝날 무렵에 가중 평균입니다. 가중 평균에 대한 가설 검정을 확실히 설정할 수 있습니다. 예를 들어, Borenstein, Michael, et al. "메타 분석을위한 고정 효과 및 랜덤 효과 모델에 대한 기본 소개." 연구 합성 방법 1.2 (2010) : 97-111.

— boscovich

다른 답변도 좋지만 간단한 경우입니다. 두 연구는 p = 0.9에서 유의하지만 p = 0.95는 아닙니다. 두 개의 독립적 인 연구가 모두 p> = 0.9로 표시 될 확률은 0.01에 불과하므로 메타 분석은 p = 0.99에서 유의성을 나타낼 수 있습니다.

— barrycarter

한계를 정하십시오. 어떤 측정도 ( 가치 가 작은) 가설에 대해 충분한

값 을 갖기위한 충분한 증거를 제공 할 수는 없지만 충분히 많은 측정 값을 수집 할 수는 없습니다.

p

$p$

— Eric Towers

p- 값은 "통계적으로 유의미한"또는 미미한 효과를 나타내지 않습니다. 중요한 결론에서 무엇을 이해할 수 있습니까? 메타 분석 결론입니까?

— Subhash C. Davar

답변:

이론적으로는 ...

개별 연구의 결과는 중요하지 않지만 함께 볼 수 있으며 결과는 중요 할 수 있습니다.

이론적으로 당신은 결과를 처리하여 진행할 수 있습니다 연구의 다른 확률 변수처럼. $y_i$ $i$

$y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{i} y_{i}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

$\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{i} w_{i} y_{i} w_{i} = \frac{1 / σ_{i}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

$\hat{\mu}$

그러나 큰 문제, 인식해야 할 문제가있을 수 있습니다 ...

$E[y_i] \neq \mu$ $\mu$

예를 들어, 부정적인 결과를 출판하는 것에 대한 편견이 있다면,이 간단한 메타 분석은 매우 일관되지 않고 편향 될 수 있습니다! 그것은 동전이 꼬리가 떨어지지 않는 플립을 관찰하여 동전이 뒤집힐 확률을 추정하는 것과 같습니다!
$y_i$ $y_j$ $i$ $j$ $y_i$ $y_j$
(1)과 (2)를 결합하면 특히 나쁠 수 있습니다.

예를 들어, 평균 폴링의 메타 분석은 개별 폴링보다 더 정확한 경향이 있습니다. 그러나 여론 조사를 평균하면 상관 오류에 여전히 취약합니다. 지난 선거에서 등장한 것은 젊은 출구 여론 조사원들이 노인보다는 다른 젊은이들을 인터뷰하는 경향이 있다는 것입니다. 모든 엑시트 폴링에서 동일한 오류가 발생하면 추정치가 잘못되었다고 생각할 수있는 잘못된 추정값이있는 것입니다. 엑시트 폴링은 동일한 접근법을 사용하여 엑시트 폴링을 수행하고이 접근법이 동일한 오류를 생성하기 때문에 상관 관계가 있습니다.

의심 할 여지없이 메타 분석에 더 익숙한 사람들은 더 나은 예, 더 미묘한 문제, 더 정교한 추정 기법 등을 생각 해낼 수 있지만, 이것은 가장 기본적인 이론과 더 큰 문제 중 일부에 해당합니다. 다른 연구가 독립적 인 무작위 오류를 만드는 경우 메타 분석이 매우 강력 할 수 있습니다. 연구 전반에 걸쳐 오류가 체계적인 경우 (예 : 모든 사람이 나이가 많은 유권자 수를 계산하는 등), 연구의 평균도 사라집니다. 상관 관계 연구의 정도 또는 상관 오류의 정도를 과소 평가하는 경우 총 표본 크기를 효과적으로 과대 평가하고 표준 오차를 과소 평가하십시오.

일관된 정의 등의 모든 실제 문제도 있습니다.

— 매튜 건
소스

효과 크기 간의 종속성을 무시하기위한 메타 분석을 비판하고 있습니다 (즉, 많은 효과 크기는 동일한 참가자를 기반으로하지만 독립적으로 처리됨). 저자들은 아무 문제가 없다고 말합니다. 어쨌든 중재자에 관심이 있습니다. "메타 분석에서 독립적으로 처리하는 것이 표준 오류를 과소 평가하고 통계적 유의성을 과소 평가할 수 있습니다." 이것이 왜 그런지를 보여주는 증명 / 시뮬레이션 연구가 있습니까? 상관 오류가 SE를 과소 평가했다는 것을 말하는 많은 참고 문헌이 있지만 그 이유를 모르겠습니다.

— Mark White

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

내가 메타 분석 전문가가 아니에요, 나는 정직하게 한 방법에 대한 중대한 근원이 무엇인지 알 수 @MarkWhite 한다 현대, 메타 분석을 수행. 개념적으로, 동일한 데이터에 대한 분석 복제는 확실히 유용하지만 (일부 주제를 집중적으로 연구함에 따라), 독립적 인 새 주제에 대한 결과를 재현하는 것과는 다릅니다.

— Matthew Gunn

아, 즉 말하면 : 효과 크기의 총 분산은 (a) 분산과 (b) 다른 효과 크기와의 공분산에서 비롯됩니다. 공분산이 0이면 표준 오차 추정값이 적합합니다. 그러나 다른 효과 크기와 함께 움푹 패인 경우 해당 분산을 설명해야하며이를 무시하면 분산을 과소 평가하고 있음을 의미합니다. 분산은 두 부분 A와 B로 구성되어 있으며 종속성을 무시하면 B 부분이 0이 아닌 것으로 가정합니다.

— Mark White

또한 이것은 좋은 출처 인 것 같습니다 (특히 Box 2 참조) : nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Mark White

$N$ $N$

피셔 테스트

(편집-아래 @mdewey의 유용한 의견에 따라 다른 메타 테스트를 구별하는 것이 중요합니다. 아래 mdewey가 언급 한 다른 메타 테스트의 경우를 철자합니다)

F = - 2 \sum_{i = 1}^{N} \ln (p_{i})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

$\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

$c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

$N$

편집하다:

$N$ $c$ $N$ $c\approx0.36$

$\chi^2$

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

역 정규 시험 (Stouffer et al., 1949)

검정 통계량은 지정됩니다.

Z = \frac{1}{\sqrt{N}} \sum_{i = 1}^{N} Φ^{- 1} (p_{i})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— 크리스토프 행크
소스

1 / e

$1/e$

감사 :-). 줄거리를보기 전에 하나도 기대하지 못했습니다 ...

— Christoph Hanck

흥미롭게도 Fisher로 인한 방법은이 속성을 가진 일반적으로 사용되는 방법 중 하나입니다. 다른 대부분의 경우 F라고 부르는 것은 $ c> 0.5 인 경우 N으로 증가하고 그렇지 않으면 감소합니다. 이는 Stouffer의 방법과 Edgington의 방법뿐만 아니라 로짓과 p의 평균에 따른 방법에도 적용됩니다. Wilkinson 방법의 특별한 경우 인 다양한 방법 (최소 p, 최대 p 등)은 다시 다른 속성을 갖습니다.

— mdewey

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

p_{[1]} \leq p_{[2]} \dots p_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

p_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

$p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

LHC Tippett의 방법은 책 통계 방법에 설명되어 있습니다. 1931 (1 편)과 윌킨슨의 방법은 여기 기사에서 "심리학 연구에서 통계적 고려 사항"

— mdewey
소스

감사. 그러나 대부분의 메타 분석 방법은 효과 크기 (샘플 크기의 차이를 설명)를 결합하고 P 값을 결합하지 않습니다.

— Harvey Motulsky

@HarveyMotulsky는 최후의 수단을 P-값입니다 결합, 동의하지만 난 그 정신에 반응하도록 영업 이익은 결합-P-값 태그와 태그 그의 질문을했다

— mdewey

나는 당신의 대답이 맞다고 생각합니다.

— Subhash C. Davar