모수 추정을위한 이항 분포에 대한 우도 함수를 도출하는 방법은 무엇입니까?

22

8ed (pp.217-218)에 대한 Miller and Freund의 확률 및 통계에 따르면 , 이항 분포 (Bernoulli 시행)에 대해 최대화 될 가능성 함수는 다음과 같습니다.

$L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}$

이 방정식에 어떻게 도달합니까? Poisson과 Gaussian과 같은 다른 배포판에 관해서는 꽤 분명해 보입니다.

$L(\theta) = \prod_{i=1}^n \text{PDF or PMF of dist.}$

그러나 이항에 대한 것은 조금 다릅니다. 솔직히 말해서 어떻게

$nC_x~p^x(1-p)^{n-x}$

지다

$p^{x_i}(1-p)^{1-x_i}$

위의 우도 함수에서?

— 에베 이삭
소스

25

최대 우도 추정에서, 를 최대화하려고합니다 . 그러나 이것을 최대화 하는 것은 고정 된 대해 를 최대화하는 것과 같습니다 . $nC_x~p^x(1-p)^{n-x}$ $p^x(1-p)^{n-x}$ $x$

실제로, 가우시안과 포아송에 대한 가능성도 그들의 주요 상수를 포함하지 않으므로이 경우는 w와 같습니다.

OP 주소 설명

좀 더 자세한 내용은 다음과 같습니다.

첫째, 는 총 성공 횟수이고 는 단일 시행 (0 또는 1)입니다. 따라서: $x$ $x_i$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} = p^{\sum_{1}^{n} x_{i}} (1 - p)^{\sum_{1}^{n} 1 - x_{i}} = p^{x} (1 - p)^{n - x}

$\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} = p^{\sum_1^n x_i}(1-p)^{\sum_1^n1-x_i} = p^{x}(1-p)^{n-x}$

위 단계를 거꾸로 실행하여 가능성에 영향을 미치는 방법을 보여줍니다.

상수가 사라지는 이유는 무엇입니까? 비공식적으로, 대부분의 사람들 (나를 포함하여)은 선행 상수가 가능성을 최대화하는 의 값에 영향을 미치지 않으므로 무시하기 만합니다 (효과적으로 1로 설정). $p$

우도 함수의 로그를 취하고 미분 값이 0 인 위치를 찾아서이를 도출 할 수 있습니다.

\ln (n C_{x} p^{x} (1 - p)^{n - x}) = \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p)

$\ln\left(nC_x~p^x(1-p)^{n-x}\right) = \ln(nC_x)+x\ln(p)+(n-x)\ln(1-p)$

미분 wrt 취하여 설정하십시오 . $p$ $0$

\frac{d}{d p} \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p) = \frac{x}{p} - \frac{n - x}{1 - p} = 0

$\frac{d}{dp}\ln(nC_x)+x\ln(p)+(n-x)\ln(1-p) = \frac{x}{p}- \frac{n-x}{1-p} = 0$

⟹ \frac{n}{x} = \frac{1}{p} ⟹ p = \frac{x}{n}

$\implies \frac{n}{x} = \frac{1}{p} \implies p = \frac{x}{n}$

선행 상수는 MLE 계산에서 제외되었습니다.

$L_1,L_2$ $L_1=kL_2$ $p$

실제적인 수준에서 우도 함수를 사용한 추론은 실제로 우도의 절대 값이 아니라 우도 비율을 기반으로합니다. 이것은 가능성 비율에 대한 점근 론 이론 (무증상 카이-제곱-종종 적절한 특정 규칙 조건에 따라 다름) 때문입니다. Neyman-Pearson Lemma 로 인해 가능성 비율 테스트가 선호 됩니다. 따라서 두 가지 간단한 가설을 검정하려고 시도하면 비율을 취하고 공통 선행 요소가 취소됩니다.

참고 : 이항식과 포아송과 같이 서로 다른 두 모델을 비교하는 경우 에는 발생 하지 않습니다 . 이 경우 상수가 중요합니다.

위의 이유 중 첫 번째 (L의 최대화를 찾는 것과 관련이 없음)가 귀하의 질문에 가장 직접적으로 대답합니다.

2

n C_{x}

$nC_x$

n

$n$

@ ÉbeIsaac가 더 자세한 내용을 추가했습니다

2

제품의 xi는 각 개별 시험을 말합니다. 각 개별 시행에서 xi는 0 또는 1 일 수 있으며 n은 항상 1입니다. 따라서 사소하게는 이항 계수가 1이됩니다. 따라서 우도에 대한 곱 공식에서는 이항 계수의 곱이 1이므로 수식에 nCx가 없습니다. 단계별로 작업하는 동안 이것을 깨달았습니다 :)

— 아히 ish 티 와리
소스