이항 효과 크기 표시 (BESD)가 효과 크기를 잘못 표시합니까?

도널드 루빈이 테크놀로지의 진정한 레몬을 내놓았다는 것을 받아들이 기는 어렵습니다. 그러나 이것이 BESD에 대한 나의 인식이다 [ 1 , 2 , 3 ].

Rosenthal and Rubin (1982)의 원본 논문은 "원본 데이터가 연속적이든 범주 적이든 관계없이 모든 제품-모멘트 상관 관계를 [2x2] 디스플레이로 다시 변환하는 방법"을 보여주는 가치가 있다고 주장했습니다.

아래 표는 p의 것입니다. 위의 두 번째 링크 중 451 :

이 기법은 거의 모든 효과 크기의 크기를 과장하는 것으로 보입니다. 여기서 원래 데이터의 = .01이지만 2x2 분할 표로 "번역"될 때 훨씬 더 강한 효과에 직면 한 것으로 보입니다. 이런 식으로 데이터가 범주 형식으로 다시 변환 될 때 실제로 = .1이지만, 번역에서 무언가가 매우 왜곡되었다고 생각합니다.$R^2$$\phi$

여기서 정말로 가치있는 것을 놓치고 있습니까? 또한 지난 10여 년 동안 통계 계가이를 합법적 인 방법으로 거부했다는 인상을 받았습니다. 제가 틀렸습니까?

실험 ( ) 및 대조 ( ) 성공률 ( )을 각각 계산하는 방정식은 다음 과 같습니다.C s $E$$C$$sr$

$E_{sr} = .50 + r/2$

과

$C_{sr} = .50 - r/2$

참고:

Rosenthal, R., & Rubin, DB (1982). 실험 효과의 규모에 대한 간단한 범용 디스플레이. 교육 심리학 저널, 74 , 166–169.

나는 그것이 편향되어 있음을 보여줄 수는 있지만 (내 생각에는) 그 이유를 설명 할 수는 없다. 누군가 내 답변을보고 더 자세히 설명 할 수 있기를 바랍니다.

많은 메타 분석 및 게시 한 이미지에서와 같이 많은 사람들이 BESD를 다음과 같이 해석합니다. 두 변수를 중간으로 나누려면 주어진 비율의 2 % 2 우연의 표에있는 "오른쪽"셀에 사람들을 정확하게 배치합니다. 시간.

따라서 이면 사람들은 "이 관측 된 을 주면 다음과 같이 생각할 수 있습니다. X의 중앙값을 초과하는 사람은 Y의 중앙값보다 70 % 높은 시간을 초과합니다. " 이것은 Kraus (1995, p. 69)가 해석하는 방식입니다 (한 변수가 실제로 이분법이고 다른 변수는 중간 분할 인 가상의 상황에 의존합니다).$.50 + r/2 = .70$$r$

사람들은 종종 너무, 의료 은유를 사용했다 : "이 대응을 제어 및 실험 조건에있는 사람들 사이에 40 % 포인트의 차이에."$r$

중간 분할 식 해석이 편향되어 있는지 확인하기 위해 실제 모집단 인 1,000,000 건의 모집단을 시뮬레이션했습니다 . 그런 다음이 모집단에서 100 명을 뽑아 BESD "정확한 비율"(즉, )을 계산 한 다음 2 x 2 비 상표에 대한 실제 중앙값 분할 셀을 계산했습니다. 사람들은 "정확하게" 나는 이것을 10,000 번했다..50 + r /$r = .38$$.50 + r/2$

그런 다음 길이가 10,000 인 각 벡터의 평균 및 표준 편차를 취했습니다. 코드:

library(MASS)
# set population params
mu <- rep(0,2)
Sigma <- matrix(.38, nrow=2, ncol=2) + diag(2)*.62
# set seed
set.seed(1839)
# generate population
pop <- as.data.frame(mvrnorm(n=1000000, mu=mu, Sigma=Sigma))
# initialize vectors
besd_correct <- c()
actual_correct <- c()
# actually break up raw data by median split, see how it works
for (i in 1:10000) {
  samp <- pop[sample(1:1000000, 100),]
  besd_correct[i] <- round(100*(.50 + cor(samp)[1,2]/2),0)
  samp$V1_split <- ifelse(samp$V1 > median(samp$V1), 1, 0)
  samp$V2_split <- ifelse(samp$V2 > median(samp$V2), 1, 0)
  actual_correct[i] <- with(samp, table(V1_split==V2_split))[[2]]
}
# cells for BESD
mean(besd_correct)
100 - mean(besd_correct)
# cells for actual 2 x 2 table with median split
mean(actual_correct)
100 - mean(actual_correct)

BESD을 바탕으로, 우리는이 표를 얻을 곳 v1과 v2변수를 참조 low하고 high아래에 각각 중간, 위를 참조하십시오

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 69     | 31      |
+---------+--------+---------+
| v1 high | 31     | 69      |
+---------+--------+---------+

실제로 원시 데이터로 중앙값 분할을 수행하면 다음 표를 얻을 수 있습니다.

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 62     | 38      |
+---------+--------+---------+
| v1 high | 38     | 62      |
+---------+--------+---------+

따라서 누군가 BESD를 사용하여 "제어 및 실험에 38 %의 차이가있다"고 주장 할 수 있지만 실제 중앙값의 분할은 24입니다.

왜 이런 일이 발생 하는지 잘 모르겠 거나 샘플 크기와 상관 관계에 의존한다면 (쉽게 더 많은 시뮬레이션을 수행 할 수 있음) 이것이 편향되어 있다고 생각합니다. 누군가가 계산 설명이 아닌 수학적 설명으로 차임 할 수 있다면 좋을 것입니다.

마크 화이트의 직감이 잘못되었습니다. BESD는 실제로 중앙값 분할을 모델링하지 않습니다. 중앙값 분할은 실제 통계 정보 손실과 관련이 있습니다. 관계를 체계적으로 약화시킵니다 ( http://psycnet.apa.org/record/1990-24322-001 참조) .), 따라서 평균 분할 값이 BESD보다 정확도가 떨어집니다. BESD는 변수가 실제로 이분법 적이며 중간 분할을 통해 인위적으로 이분법 적이 지 않은 것처럼 분류 정확도를 입증하고 있습니다. 이것을 보려면 중앙 분할 데이터에 대한 상관 관계를 계산하십시오. 원래 변수의 상관 관계보다 작은 것을 볼 수 있습니다. 변수가 원래 이진 인 경우 두 방법이 동의합니다. BESD는 본질적으로 변수가 마치 이진 인 것처럼 변수를 표시합니다. 연속 변수에 사용될 때 이것은 반드시 추상화를 나타냅니다. 실제로 "성공"및 "실패"또는 "처리"및 "제어"그룹은 없습니다.

BESD는 바이어스되지 않습니다. 두 가지 이진 변수로 작업하는 경우 분류 정확도에 대한 특정 처리의 영향을 정확하게 반영합니다. 이는 측정 또는 처리의 잠재적 인 실제 가치를 입증하는 데 유용한 표시이며, 통계를 설명하는 작은 분산의 영향도 의미있게 중요 할 수 있음을 보여줍니다. BESD는 적용된 심리적 및 조직적 실무에 널리 사용되며 다른 실제 효과 크기 표시와 강력하게 동의합니다 (예 : r = .25의 유효성 상관도를 가진 측정 값을 사용하여 그룹을 하향식으로 선택하면 .25가됩니다) 선택되지 않은 그룹에 비해 선택된 그룹 간의 결과 성능이 SD 증가합니다.

통계를 고려한 분산은 제곱 작업이 비선형이기 때문에 일관되게 오해를 유발하고 가변 관계의 크기를 과소 평가합니다. 많은 응용 방법 론자 (예 : https://us.sagepub.com/en-us/nam/methods-of-meta-analysis/book240589 )는 제곱근 (더 정확하게 크기를 전달 함)을 선호하여 사용을 권장하지 않습니다. 효과).

자세한 답변, 차이가 발생하는 시점 및 더 나은 솔루션에 대한 자세한 내용은 메타 분석 효과 크기에서 이분법 결과의 절대 백분율 변화를 계산하는 정확한 방법 : 영향 및 비용 결과 예측 개선, TR Miller, J Derzon, D Hendrie, Value in Health, 14 : 1, 144-151, 2011. 해당 기사의 요약에 대한 요약 답변입니다. 목표 : 메타 분석은 일반적으로 치료 효과 크기 (Cohen 's d)를 계산하는데, 이는 다른 일반적인 측정 값 인 이항 효과 크기 표시 (BESD)로 쉽게 변환됩니다. BESD는 상관 계수이며 중재로 인한 결과의 백분율 차이를 나타냅니다. d와 BESD는 모두 임의의 단위입니다. 개입으로 인한 절대적인 변화도 측정하지 않습니다. BESD에서 절대 변화를 추정하는 데 사용 된 방법은 결과의 50-50 분할과 균형 잡힌 설계를 가정합니다. 결과적으로 부정확 한 가정은 개입 (및 비용 효율성)으로 인한 이익에 대한 대부분의 메타 분석 추정을 뒷받침합니다. 이 기사는 이러한 가정없이 정확한 공식을 개발합니다. 방법 : 공식은 1) 치료 및 통제 그룹의 상대적인 크기와 개입이없는 상태를 가진 사람의 비율로 구성된 2x2 우연성 표로 표현 된 상관 계수에 대한 공식에서 대수적으로 개발됩니다. 및 2) 치료에 의한 성공 확률의 변화를 나타내는 BESD 상관 계수 공식. 결과 : 시뮬레이션 결과 BESD는 문제의 결과가 35 % -65 %의 사례에서 발생할 때 중재가 달성 할 수있는 결과의 감소에 근사한 것으로 나타났습니다. 덜 일반적인 결과를 위해 BESD는 개입의 영향을 실질적으로 과대 평가합니다. BESD가 결과에서 발생할 수있는 백분율 변화를 정확하게 추정하더라도 긍정적 인 결과를 얻을 수있는 사례 비율을 오도하는 그림을 그립니다.