비율 및 이진 분류기 테스트

부품을 생산하는 프로토 타입 머신이 있습니다.

첫 번째 테스트에서 기계는 부품을 생산 하고 이진 분류기는 d 1 부품에 결함이 있음을 알려줍니다 ( d 1 < N 1 , 일반적으로 d 1 / N 1 < 0.01 및 N 1 ≈ 10 4 ) 및 N 1 - d 1 부품이 좋습니다.$N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

그런 다음 기술자는 결함있는 부품 수를 줄이기 위해 기계를 약간 변경합니다.

두 번째 테스트 후 수정 된 기계는 부품을 생산 하고 동일한 이진 분류기 (손질되지 않음)는 d 2 부품에 결함이 있음을 알려줍니다 .d 2 / N 2 는 d 1 / N 1 과 매우 유사합니다 .$N_2$$d_2$$d_2/N_2$$d_1/N_1$

기술자는 자신의 변경 사항이 효과적인지 알고 싶습니다.

분류 기가 완벽하다고 가정하면 (민감도는 100 %이고 특이도는 100 %입니다), 비율 테스트를 수행 할 수 있습니다 (R을 사용하여 입력 prop.test(c(d1,d2),c(N1,N2))).

그러나 분류 기가 완벽하지는 않으므로 기술자에게 올바르게 대답하기 위해 분류 자의 민감도와 특이도를 어떻게 고려할 수 있습니까?

그래서 나는 이것을 첫 번째 원칙에서 이끌어 냈으므로 정확하지 않습니다. 내 생각은 다음과 같습니다.

편집 : 이것은 바로 전에 아니었다. 업데이트했습니다.

1. 가 실제 양의 양수 d 1 과 ^ d 1 이라고 부르는 이진 분류기에 의해 출력 된 숫자 사이의 예상되는 차이를 나타내 도록합시다 . 알려진 레이블이있는 세트에서 분류기를 실행하여이를 측정 할 수 있습니다. 분류기에 의해 생성 된 긍정 수에서 실제 긍정 수를 빼고 N 으로 나누면 α가 됩니다.$\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. 따라서 불량 부품의 실제 비율에 대한 포인트 추정치는 다음과 같이 주어집니다 : $\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$$\hat{\frac{d_1}{N_1}}$$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

해석에 대한 몇 가지 생각 :

• $p < 0$

• 이것에 대해 생각하는 또 다른 방법은 결함있는 부품의 수가 분류기의 오차 한계 내에 있으면 차이가 있는지 여부를 알 수 없다는 것입니다. 부품에 결함이 있는지 여부조차 알 수 없습니다!

$\alpha$

• $\alpha$$\alpha$

$h$

• 경험적으로 계산$\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$ (이전 간격을 둘 다 포함) 비율의 차이에 대해 (1-h) * 100 % CI 여야합니다.

$\alpha$