클릭률이 가장 높은 광고 세트를 결정하는 데 필요한 샘플 크기

저는 무역 분야의 소프트웨어 디자이너이며 고객을위한 프로젝트를 진행 중이며, 분석이 통계적으로 올바른지 확인하고 싶습니다.

다음을 고려하십시오. n 개의 광고 가 있고 (n <10), 어떤 광고가 가장 실적이 좋은지 알고 싶습니다. Google 광고 서버는 이러한 광고 중 하나를 임의로 게재합니다. 사용자가 광고를 클릭하면 Google 서버에서이를 추적합니다.

주어진 시간 : 신뢰 구간 : 95 %

질문 : 예상 표본 크기는 얼마입니까? (총 광고 수는 몇 개입니까) 왜 그렇습니까? (나는 더미라는 것을 기억하십시오)

감사

— 홍옥
소스

"오류 한계 5 %"가 의미하는 바를 명확하게 설명해 주시겠습니까?

— onestop

@onestop-좋은 설명-나는 그것을 질문에서 제거했습니다. 방금 다음 샘플 크기 계산기에서 해당 변수를 가져 왔습니다 . raosoft.com/samplesize.html 그러나이 질문에 관련이 있다고 생각하지 않습니다. 감사!

— Jonathan

많은 테스트의 경우, 추정 (고정) 효과 크기가 주어지면 테스트에서 특정 검정력을 얻도록 샘플 크기를 계산할 수 있습니다. 즉, 먼저 다음 사항을 지정해야합니다. 1) 어떤 테스트를 사용 하시겠습니까? 2) 그 시험이 어떤 힘을 갖기를 원하십니까? 조건부 3) 당신이 흥미 롭다고 생각하는 효과 크기. 1) 여기 사람들이 당신을 도울 수있는 것입니다. 2) 지정한 95 %와 관련이있을 수 있습니다. 3) 그러나 사전에 제공해야 할 것이 있습니다. 확률을 흥미롭게 다른 것으로 간주 해야하는 방법은 무엇입니까?

— caracal

따라서 여기에 더 많은 매개 변수를 제공 해야하는 경우 다음을 수행하십시오. 1. 사용 테스트 -모름-제안 사항이 있습니까? 2. 힘 : 위키 백과 정의를 본 후에도-지능적으로 대답하는 방법을 모르겠습니다. 3. 효과 크기 : 10 % 향상

— Jonathan

아마도 원하는 테스트는 Fisher의 정확한 테스트 입니다. 불행히도, 클릭률이 매우 낮고 예상 효과 크기가 작기 때문에 원하는 신뢰 구간을 달성하려면 막대한 N이 필요합니다. 최고의 광고의 '진정한'클릭률은 .11이고 두 번째는 0.1입니다. 또한 귀무 가설을 부적절하게 거부하지 않을 확률 (두 광고간에 차이가 없음)이 .20보다 작을 것이라고 가정합니다. 이 경우 10,000 정도의 N이 필요합니다.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

한 의견 제안자에 따르면 광고 실적의 10 % 차이는 신경 쓰지 않아야합니다. 더 큰 차이를 위해 필요한 샘플 크기가 빠르게 줄어 듭니다.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— fgregg
소스