독립 t- 검정을 사용하여 정규 분포가 아닌 A / B 테스트 결과 분석

정규 분포에 맞지 않는 A / B 테스트 (제어 그룹 1 개, 기능 그룹 1 개)의 결과 집합이 있습니다. 실제로이 배포판은 Landau 배포판과 더 비슷합니다.

독립 t- 검정은 표본이 최소한 정규 분포를 that어야하므로 t- 검정을 유효한 유의성 검정 방법으로 사용하지 못하게합니다.

그러나 내 질문은 : 어떤 시점에서 t- 검정이 유의성 검정의 좋은 방법이 아니라고 말할 수 있습니까?

또는 다른 방법으로, 데이터 세트 만 주어지면 t- 검정의 p- 값이 얼마나 신뢰할 수 있는지를 어떻게 검증 할 수 있습니까?

데이터 분포는 정상일 필요는 없습니다. 샘플링 분포 는 거의 정상이어야합니다. 표본 크기가 충분히 클 경우, 중앙 한계 정리 로 인해 Landau Distribution의 평균 표본 분포가 거의 정상이어야합니다 .

따라서 데이터와 함께 t-test를 안전하게 사용할 수 있어야합니다.

예

이 예를 고려해 봅시다 : mu = 0 및 sd = 0.5 인 Lognormal 분포를 가진 모집단이 있다고 가정 합니다 (Landau와 약간 비슷 함).

따라서 표본의 평균을 계산할 때마다이 분포에서 5000 번의 관측 값을 5000 번 샘플링합니다.

그리고 이것이 우리가 얻는 것입니다

꽤 평범 해 보이죠? 표본 크기를 늘리면 더 분명해집니다

R 코드

x = seq(0, 4, 0.05)
y = dlnorm(x, mean=0, sd=0.5)
plot(x, y, type='l', bty='n')


n = 30
m = 1000

set.seed(0)
samp = rep(NA, m)

for (i in 1:m) {
  samp[i] = mean(rlnorm(n, mean=0, sd=0.5))
}

hist(samp, col='orange', probability=T, breaks=25, main='sample size = 30')
x = seq(0.5, 1.5, 0.01)
lines(x, dnorm(x, mean=mean(samp), sd=sd(samp)))


n = 300
samp = rep(NA, m)

for (i in 1:m) {
  samp[i] = mean(rlnorm(n, mean=0, sd=0.5))
}

hist(samp, col='orange', probability=T, breaks=25, main='sample size = 300')
x = seq(1, 1.25, 0.005)
lines(x, dnorm(x, mean=mean(samp), sd=sd(samp)))

기본적으로 독립 t- 검정 또는 2 샘플 t- 검정을 사용하여 두 샘플의 평균이 유의하게 다른지 확인합니다. 또는 두 샘플의 평균간에 유의 한 차이가있는 경우 다시 말하면됩니다.

이제이 두 표본의 평균은 두 개의 통계이며, CLT에 따르면 충분한 표본이 제공되면 정규 분포를 갖습니다. CLT는 평균 통계가 생성 된 분포에 관계없이 작동합니다.

일반적으로 z- 검정을 사용할 수 있지만 표본에서 분산을 추정하면 (알 수 없기 때문에) 불확실성이 추가되어 t 분포에 포함됩니다. 이것이 2- 표본 t- 검정이 여기에 적용되는 이유입니다.