최대 가능성 추정기-신뢰 구간

해당 모수에 대한 MLE부터 시작하여 실제 모수에 대한 점근 적 신뢰 구간을 어떻게 구성 할 수 있습니까?

— 파브리 치오
소스

이 문제에 접근하는 한 가지 방법은 델타 방법을 사용하는 것입니다. en.wikipedia.org/wiki/Delta_method

나는 너무 광범위으로이 질문을 닫습니다 투표가 발견,하지만 거기에 있다 간결하게 언급 할 수 MLEs의 점근 행동에 대해 일반적인 정리. 나는 조금 나중에 확장 할 간결한 대답을했다.

— Scortchi-Monica Monica 복원

크기 의 iid 표본에 대해 규칙 성 조건이 주어진 경우 MLE 는 실제 모수 및 그 분포의 의 일관된 추정값 이며, 피셔 정보 : $n$ $\hat{\theta}$ $\theta_0$

\sqrt{n} (\hat{θ} - θ_{0}) \to N (0, \frac{1}{I_{1} (θ_{0})})

$\sqrt{n}\left(\hat{\theta}-\theta_0\right) \rightarrow \mathcal{N}\left(0,\frac{1}{\mathcal{I}_1(\theta_0)}\right)$ 여기서 은 단일 샘플의 Fisher 정보입니다. MLE 에서 관측 된 정보 는 예상되는 정보와 무관하게 경향이 있으므로 다음과 같이 신뢰 구간을 계산할 수 있습니다 (예 : 95 %)

I_{1} (θ_{0})

$\mathcal{I}_1(\theta_0)$

I (\hat{θ})

$I(\hat{\theta})$

\hat{θ} \pm \frac{1.96}{\sqrt{n I_{1} (\hat{θ})}}

$\hat{\theta} \pm \frac{1.96}{\sqrt{nI_1\left(\hat\theta\right)}}$

예를 들어, 가 0으로 잘린 포아송 변수 인 경우 MLE (수적으로 계산해야 함) 측면에서 관측 된 정보에 대한 공식을 얻을 수 있습니다. $X$

f (x) = \frac{e^{- θ} θ^{x}}{x! (1 - e^{- θ})}

$\newcommand{\e}{\mathrm{e}}\newcommand{\d}{\operatorname{d}}f(x) = \frac{\e^{-\theta}\theta^x}{x!(1-e^{-\theta})}$

ℓ (θ) = - θ + x \log θ - \log (1 - e^{- θ})

$\ell(\theta)=-\theta+ x\log\theta -\log(1-\e^{-\theta})$

\frac{d ℓ (θ)}{d θ} = - 1 + \frac{x}{θ} - \frac{e^{- θ}}{1 - e^{- θ}}

$\frac{\d\ell(\theta)}{\d\theta} = -1 +\frac{x}{\theta} - \frac{\e^{-\theta}}{1-\e^{-\theta}}$

I_{1} (\hat{θ}) = - \frac{d^{2} ℓ (\hat{θ})}{{(d \hat{θ})}^{2}} = \frac{x}{\hat{θ}} - \frac{e^{- \hat{θ}}}{{(1 - e^{- \hat{θ}})}^{2}}

$I_1\left(\hat{\theta}\right)=-\frac{\d^2\ell\left(\hat\theta\right)}{\left(\d\hat\theta\right)^2} = \frac{x}{\hat\theta} - \frac{\e^{-\hat\theta}}{\left(1-\e^{-\hat{\theta}}\right)^2}$

규칙 성 조건에서 제외되는 주목할만한 사례는 다음과 같습니다.

매개 변수 는 데이터의 지원을 결정합니다. 예를 들어 Naught와 사이의 균일 한 분포에서 샘플링 $\theta$ $\theta$
샘플 크기에 따라 방해 매개 변수의 수가 증가합니다.

— Scortchi-복권 모니카
소스

제약이있을 때이 방법이 수정되지 않은 상태로 적용됩니까? 예 : ? 및 과 같은 매개 변수 , 에 대한 MLE는 어떻습니까? ?

θ

$\theta$

θ \in [0, 1]

$\theta \in [0, 1]$

N

$N$

θ_{i}

$\theta_i$

i = 0, . . ., N - 1

$i=0,...,N-1$

\sum_{i = 0}^{N - 1} θ_{i} = 1

$\sum_{i=0}^{N-1} \theta_i = 1$

θ_{i} \in [0, 1]

$\theta_i \in [0,1]$

— quant_dev

경우 , 즉 진정한 값의 범위와 동등하지 않는다.

θ \in (0, 1)

$\theta \in (0, 1)$

— Scortchi-Monica Monica 복원

만약 와정상적인 근사값을 적용 할 수없고 샘플이 더 필요하다는 의미는 아닙니까?

θ \in (0, 1)

$\theta \in (0,1)$

σ (\hat{θ}) > | \hat{θ} |

$\sigma(\hat{\theta}) > |\hat{\theta}|$

— quant_dev

예, 단지 점근 적 신뢰 구간입니다.

— Scortchi-Monica Monica 복원

@quant_dev : 아니요 : 정규 근사를 괜찮게 만든 매개 변수의 변형을 찾거나 다른 방법을 사용합니다.

— Scortchi-Monica Monica 복원