실험을 다시 실행하여 웹 a / b 테스트의 유효성을 검사하십시오. 이것이 유효합니까?

며칠 전에 a / b 테스트 회사의 웹 세미나에서 상주 "데이터 과학자"가 실험을 다시 실행하여 결과를 확인해야한다고 설명했습니다. 전제 조건은 95 % 신뢰를 선택하면 오 탐지 확률이 5 % (1/20)라는 것입니다. 동일한 제약 조건으로 실험을 다시 실행하면 1/400이 있습니다 (이것이 0.05 ^ 2 = 1/400으로 결정되었다고 가정합니다)

이것이 유효한 진술입니까? (즉, "두 번 실행, 두 개의 통계적 유의성 승 = 거짓 양성 확률 1/400")? 귀하의 유의 수준을 높이는 더 나은 접근 방법 이었습니까?

비즈니스 관점에서, 내가 가진 문제는 실험을 다시 실행하고, 더 많은 사용자를 열등한 페이지 (처리)에 노출시켜 잠재적 판매를 잃는 것입니다.

현재 오 탐지 확률을 무시하고 다음과 같이 봅니다.

1. 실험을 두 번 실행하여 동일한 결과를 얻는 경우 두 개의 진정한 긍정적 결과 또는 두 개의 잘못된 긍정적 결과가 연속으로 존재하는지 알 수 없습니다.
2. 실험을 두 번 실행하고 두 가지 다른 결과를 얻는 경우 어떤 것이 진짜 긍정적이고 어떤 것이 잘못된 긍정적 결과인지 알 수 없습니다.

두 경우 모두 확실하게 세 번째 실험을 수행해야합니다. 이는 상대적으로 저렴한 실험이지만 비용이 많이 드는 곳 (고객을 잃는 것과 같은)에서는 실제로 이점을 고려해야합니다.

실험을 처음 시작할 때 확률을 보면 1/20의 오 탐지 확률이 있습니다. 두 번째로 실험을 실행하면 여전히 1/20의 오 탐지 확률이 있습니다 (각 롤이 특정 숫자를 얻을 수있는 1/6의 확률로 주사위를 굴리는 것으로 생각하십시오). 연속으로 2 개의 오탐 (false positive)을 가질 확률은 1/400입니다.

실제 문제는 엄격한 절차를 통해 잘 정의 된 가설을 세우고 표본 크기, 오류 수준 및 신뢰할 수있는 간격을 갖는 것입니다. 실험의 반복은 탐구해야한다

1. 시간이 지남에 따라 고객
2. 조직의 변경
3. 경쟁에 의한 변경

두 번째 추측 결과보다는. 관리자에게 이것을 설명하는 것이 말보다 쉽습니다.

실험이 이상적이라고 가정하면 그 진술은 정확합니다. 그러나 이상적인 실험을하는 것은이 감정이 신뢰를주는 것보다 훨씬 어려운 방법입니다. "실제 세계"데이터는 처음에는 지저분하고 복잡하며 해석하기가 어렵습니다. 결함이있는 분석, 숨겨진 변수 (매우 "같은 제약 조건"은 거의 없음) 또는 데이터 과학자와 데이터 마킹 담당자 사이의 잘못된 의사 소통을위한 엄청난 여지가 있습니다.

비즈니스 관점에서 좋은 방법론을 보장하고 결과에 지나치게 자신감을 가지지 않아야합니다. 생각보다 까다로운 도전. 일단 다운하면 그 5 %로 작업하십시오.