나는 몇 년 전에 통계를 연구하고 모든 것을 잊어 버렸으므로 이것들은 구체적인 것보다 일반적인 개념적 질문처럼 보일 수 있지만 여기에 내 문제가 있습니다.
전자 상거래 웹 사이트에서 UX 디자이너로 일하고 있습니다. 우리는 그것을 의심하기 시작한 몇 년 전에 만들어진 A / B 테스트 프레임 워크를 가지고 있습니다.
우리가 모든 결정을 내리는 측정 항목은 전환이라고하며, 사이트를 방문한 사용자의 비율에 따라 결정됩니다.
따라서 구매 버튼의 색상을 녹색에서 파란색으로 변경하는 것을 테스트하고 싶습니다.
컨트롤은 이미 보유하고 있으며 녹색 버튼은 평균 전환율이 무엇인지 알 수 있습니다. 실험은 녹색 버튼을 파란색 버튼으로 대체하고 있습니다.
우리는 95 %의 중요성이 우리가 만족하는 신뢰 수준이며 실험을 켜고 실험을 계속 진행한다는 데 동의합니다.
사용자가 사이트를 방문하면 무대 뒤에서 실험 버전 (파란색 버튼)과 대조 버전 (녹색 버튼)으로 전송 될 확률이 50/50입니다.
7 일 후의 실험을 살펴본 결과, 샘플 크기가 3000 (1500은 대조군으로, 1500은 실험으로) 및 통계적으로 99.2 %로 실험에 유리한 전환율이 10.2 % 증가한 것으로 나타났습니다. 훌륭하다고 생각합니다.
실험이 계속되고 샘플 크기가 커지면 98.1 %의 유의미한 전환율이 + 9 % 증가합니다. 자, 실험을 더 오래 계속 진행하면 실험에서 통계적으로 유의미한 92 %의 변환으로 5 % 상승한 것으로 나타 났으며, 프레임 워크에서 95 %의 유의성에 도달하기 전에 4600 개의 샘플이 더 필요하다고 말하고 있습니까?
그러면 실험이 결정적인 시점은 언제입니까?
샘플 크기에 미리 동의하고 실험을 완료 할 때 임상 시험 과정을 생각하면 99 % 유의미한 측정 항목이 10 % 향상되는 것을 볼 수 있습니다. 그러나 만약 그들이 4000 명의 사람들을 대상으로 실험을했는데 92 %의 의미로 5 %의 개선이 이루어 졌다면 그 약은 시장에 나오지 않을 것입니다.
샘플 크기에 미리 동의하고 샘플 크기에 도달하면 중지하고 실험을 중단 할 때의 중요성이 99 % 인 경우 결과에 만족해야합니까?