때

$(X,Y)$ 에 pdf가 있다고 가정

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

따라서이 모집단에서 추출한 샘플의 밀도 $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$ 은

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

$\theta$ 의 최대 우도 추정값은 다음 과 같이 도출 될 수 있습니다.

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

이 MLE의 제한 배포가 정상적인 지 아닌지 알고 싶습니다.

표본을 기반으로하는 $\theta$ 대한 충분한 통계량 은 $(\overline X,\overline Y)$ 분명합니다 .

이제 MLE이 정규 1 매개 변수 지수 패밀리의 구성원인지 의심없이 무증상 정상이라고 말했을 것입니다. 1 차원 모수에 대한 2 차원의 충분한 통계량 (예 : $N(\theta,\theta^2)$ 분포 을 가지고 있기 때문에 이것이 사실이라고 생각하지 않습니다 .

사실을 사용하여 해당 $X$ 및 $Y$ 사실 독립 지수 변수에, 나는 할 수 표시 의 정확한 분포 것을 그러한입니다 $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

여기서 제한 분포를 찾을 수 없습니다.

대신 그 WLLN으로 주장 할 수 $\overline X\stackrel{P}\longrightarrow\theta$ 와 $\overline Y\stackrel{P}\longrightarrow 1/\theta$ , 그래서 $\hat\theta\stackrel{P}\longrightarrow\theta$ .

이것은 나에게 그 이야기 에 배포 수렴을 . 하지만 이후 이것은 놀라운 일이되지 않습니다 의 '좋은'추정이다 . 그리고이 결과는 와 같은 것이 $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$ 이다 점근 정상 여부. CLT를 사용하여 합리적인 논쟁을 할 수 없었습니다.

따라서 여기에서 모 분포가 MLE의 제한 분포에 대한 정규 조건을 만족하는지 여부에 대한 의문이 남아 있습니다.

— 완고한 원자
소스

경험적으로 그것은 정상에 매우 가까운 것 같습니다.

를

로 설정하는 것이 더 쉽다는 것을 알 수 있습니다 (스케일링 팩터 일뿐입니다). 델타 방법을 사용하면 이는 무의식적으로 정상인 iid 지수 랜덤 변수의 표본 평균 비율 분포에 해당합니다. 그리고 이것은 형상 매개 변수가 증가함에 따라 두 개의 iid 감마 랜덤 변수의 비율이 점증 적으로 정규 인 분포에 해당합니다.

θ

$\theta$

1

$1$

— Henry

MLE의 점근 적 정상 성은 지수 패밀리와 관련이 없습니다. 직관적으로, 점근 적 정규성을 유지하려면 해가 모수 공간의 경계 근처에있을 가능성이 없는지 확인하면됩니다.

— whuber

@whuber 내가 아는 한, 표준 지수 패밀리의 구성원 인 pdf는 거의 항상 무증상으로 정상적인 MLE을 가지고 있습니다 (exp 패밀리 때문이 아님). 그것이 내가 지적하려고했던 연결입니다.

— StubbornAtom

맞습니다. 그러나 연결은 한 가지 방법입니다. MLE의 점근 적 결과는 훨씬 더 일반적이므로 지수 패밀리의 특성에 초점을 맞추기보다는 일반적인 방향을 찾는 것이 더 유익한 조사 일 수 있다고 제안하려고했습니다.

— whuber

다 변수 CLT 및 델타 방법을 사용한 증명도 여기에서 수행 할 수 있습니다 .

— StubbornAtom

점근 적 정상성에 대한 직접적인 증거 :

로그 가능성은

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

1 차 및 2 차 미분

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

MLE 만족 $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

우리가 가진 실제 값 $\theta_0$ 주위에 평균 값 확장을 적용

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

일부 $\tilde \theta_n$ 사이에서 과 . 우리가 다시 정리하면 $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

그러나 단일 매개 변수의 경우 역수는 역수에 불과하므로 미분의 특정 표현도 삽입합니다.

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

합의 분산은

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

$S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

$E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

추정기의 일관성으로 인해

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

그리고 Slutsky의 정리에 의해 우리는

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

$\theta_0$

— 알레 코스 파파도풀로스
소스

늦은 답변 죄송합니다. 이 모든 시간에 나는 이것이 곡선 지수 패밀리인지 여부를 숙고하고 있었으므로 MLE은 다르게 행동 할 수 있습니다.

— StubbornAtom

@StubbornAtom 추정중인 모수가 모수의 경계에있을 때 점근 적 정상 성이 확실히 상실됩니다 (생각하면 아주 직관적 인 결과).

— Alecos Papadopoulos