최대 우도 추정치의 표준 오차는 무엇을 의미합니까?

저는 수학자 자체 학습 통계이며 특히 언어에 어려움을 겪고 있습니다.

내가 사용하는 책에는 다음과 같은 문제가 있습니다.

임의의 변수 $X$ 는 - 과 함께 제공 됩니다. (물론,이 질문을 위해 하나의 매개 변수에 따라 모든 분포를 취할 수 있습니다.) 그런 다음 5 개의 값 , , , , 의 샘플 이 제공됩니다. $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

첫 번째 부분 : "최대 가능성의 방법을 사용하여 [샘플]을 기준으로 의 추정 을 찾으십시오 ." 이것은 문제가되지 않았습니다. 대답은 입니다. $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

그러나 " 의 표준 오차에 대한 추정치를 제공하십시오 ." $\hat{\alpha}$

이것의 의미는 무엇입니까? 이후 단지 고정 된 실수입니다, 나는 그것이 표준 오차를 가질 수 어떤 방식으로 표시되지 않습니다. 의 표준 편차를 결정해야 합니까? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

질문이 명확하지 않다고 생각되면이 정보가 도움이 될 것입니다.

maximum-likelihood

— 스테판
소스

60

$60$ 은 무엇을 의미합니까?

— Alecos Papadopoulos 2016 년

당신을위한 공식이 있나요

? 표준 오류를 추정하는 데 도움이됩니다.

\hat{α}

$\hat \alpha$

— soakley

@Glen_b 그러나 그것이 하한이라면 실현 된 샘플의 모든 값이 더 작을 수 있습니까?

— Alecos Papadopoulos

@Alecos 훌륭한 지적입니다. 내 의견은 말이되지 않습니다. 삭제했습니다.

— Glen_b-복지국 Monica

@Alecos :

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$ 는 밀도

의 분포입니다.

입니다.

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— Stefan

답변:

다른 대답은 표준 오류의 파생을 다루었습니다. 표기법으로 도움을 드리고 싶습니다.

당신의 혼란은 통계에서 우리는 Estimator (함수)를 나타내는 데 정확히 동일한 기호를 사용하고 특정 추정치 (특정 실현 샘플을 입력으로받을 때 Estimator가받는 값)를 정확히 사용한다는 사실에 기인합니다.

따라서 와 대 $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ . 따라서 랜덤 변수 자체 랜덤 변수 등 함수 확실히 분산을 가지고있다. $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

ML 추정에서 추정 할 수 있는 유한 샘플 분포가 알려지지 않았기 때문에 많은 경우에 계산할 수있는 것은 점근 표준 오차입니다.

엄밀히 그것이 실수 (ML 추정의 거의 모든 경우에 사실 수)에 수렴하기 때문에, 근사 분포를 가지고 있지 않습니다. 그러나 수량 $\hat \alpha$ 수속 (중심 극한 정리를 적용함으로써) 정상 랜덤 변수이다. $\sqrt n (\hat \alpha - \alpha)$

표기 혼란의 두 번째 포인트는 대부분,하지 않을 경우 모든 텍스트, 쓸 것 그들이 동안 ( "바르"= 점근 분산 ")을 의미하는 것입니다 $\text {Avar}(\hat \alpha)$ , 그들은 양의 점근 분산 참조 즉 $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ ,하지의 ... 우리가 가지고있는 기본적인 파레토 분포의 경우에 대한 $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

그래서

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(하지만 당신이 작성 찾을 것은 ) $\text {Avar}(\hat \alpha ) = \alpha^2$

자,의 견적 감지 $\hat \alpha$ 말했듯이, 점근 적으로는 상수로 수렴 이후에 "점근 분산을"있다? 음,의 대략적인 감각에 대한 크지 만 유한 샘플. 즉, "추정자"가 분포가 알려지지 않은 무작위 변수 인 "작은"샘플과 추정기가 상수 인 "무한"샘플 사이의 어딘가에, "크지 만 유한 한 샘플 영역"이 있습니다. 추정기 아직 일정하게하지 않았 분포 및 분산은 양의 점근 적절히 분산 유도하기 위해 중심 극한 정리를 이용하여 제, 로터리 방식으로 도출된다 하고 주변 상황을 선회 쓰기 (CLT 법선에 기인하는) $Z = \sqrt n (\hat \alpha - \alpha)$ (한 스텝 위로 복용 및 치료하는 동안유한으로) 방송이되는정상 랜덤 변수의 함수로서 아핀등 일반적으로 (거의 항상) 자체를 분산. $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— 알레 코스 파파도풀로스
소스

구분하는 +1

\hat{α}

$\hat{\alpha}$ 및

- 확실히 표기는 일치하지 않을 수있다.

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— 네이트 교황

- 최우 추정기 - 랜덤 샘플의 함수이기 때문에 (고정되지 않은)도 랜덤이다. 의 표준 오차의 추정 , 피셔 정보에서 얻을 수있다 $\hat{\alpha}$ $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

Where $\theta$ is a parameter and $\mathcal{L}(\theta|Y = y)$ is the log-likelihood function of $\theta$ conditional on random sample $y$ . Intuitively, the Fisher information indicates the steepness of the curvature of the log-likelihood surface around the MLE, and so the amount of 'information' that $y$ provides about $\theta$ .

For a $\mathrm{Pareto}(\alpha,y_0)$ distribution with a single realization $Y = y$ , the log-likelihood where $y_0$ is known:

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$ Plugging in to the definition of Fisher information,

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$ For a sample

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$ The maximum likelihood estimator

\hat{α}

$\hat{\alpha}$ is asymptotically distributed as:

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$ Where

n

$n$ is the sample size. Because

α

$\alpha$ is unknown, we can plug in

\hat{α}

$\hat{\alpha}$ to obtain an estimate the standard error:

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— Nate Pope
소스

For your second to last line,

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$ , it doesn't appear the notation is correct. If

n \to \infty

$n \to \infty$ , then

n

$n$ can't appear on the right side. Instead, you want

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

— user321627