표본은 어떤 의미에서 분포의 "최상의"추정을 의미합니까?

분포의 일부 iid 샘플 포인트 가 주어지면 큰 수의 (약 / 강한) 법칙에 의해 샘플 평균 $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ 는 표본 크기 이 무한대로 갈수록확률과 분포 분포 분포로 수렴합니다. $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

표본 크기 이 고정되면 LLN 추정량 가 어떤 의미에서 가장 좋은 추정량인지 궁금합니다 . 예를 들어 $N$ $f^*$

예상 평균은 분포 평균이므로 편향되지 않은 추정량입니다. 분산은 여기서는 분포 분산입니다. 그러나 UMVU입니까? $\frac{\sigma^2}{N}$ $\sigma^2$
가 일부 기능 되도록 최소화 문제 해결 : $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
다시 말해, 는 최소 대비 프레임 워크에서 일부 대비 함수 을 사용 하는 것이 가장 좋습니다 ( " 수학적 통계 : 기본 아이디어 및 선택된 주제, 제 1 권 ", Bickle 및 Doksum의 2.1 절 "추정 기본 추론" 참조). $f^*$ $l_0$

예를 들어, 분포가 가우시안 분포에서 나온 것으로 알려진 / 제한된 경우 표본 평균은 분포 평균의 MLE 추정값이되고 MLE은 최소 대비 프레임 워크에 속하며 대비 함수 은 로그를 뺀 값입니다. 우도 함수. $l_0$
$l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
$f^*$ $l$ $F$

위의 내용은 내가 지금까지 알고있는 "최상의"추정치에 대한 세 가지 해석입니다. LLN 추정기에 적용 할 수있는 다른 가능한 해석에 대해 알고 있다면 언제든지 언급하십시오.

estimation expected-value law-of-large-numbers

— 팀
소스

견적 도구의 특징을 나타내는 또 다른 방법 : Consistent Estimator에 대한 내용은 여기를 참조하십시오 . LLN으로 인해 표본 평균이 일정합니다.

— Rohit Banga

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

감사! 그러나 분산은 어떻게 계산됩니까?

— Tim

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

$l_0$ $(x-u)^2$ $(x-u)'(x-u)$

최소 대비 추정량은 특정 기술 조건에서 일관되고 무증상으로 정상입니다. 표본 평균의 경우, 이것은 이미 LLN 및 중심 한계 정리에서 따릅니다. 최소 대비 추정기가 어떤 방식 으로든 "최적"인지는 모르겠습니다. 최소 대비 추정기의 좋은 점은 많은 강력한 추정기 (예 : 중간 값, Huber 추정기, 샘플 Quantile)가이 제품군에 속한다는 것입니다. 최소 대비 추정량에 대한 일반 정리를 적용하는 것만으로도 일관성 있고 점증 적으로 정상이라는 결론을 내릴 수 있습니다. 우리가 어떤 기술적 조건을 점검하는 한 (종종 이것은 이것이 소리보다 훨씬 어렵습니다).

귀하의 질문에 언급하지 않은 최적 성의 개념 중 하나는 효율성으로, 대략 특정 품질의 추정값을 얻는 데 필요한 표본의 크기에 관한 것입니다. 평균과 중앙값의 효율성을 비교하려면 http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency 를 참조하십시오 (평균이 더 효율적이지만 중앙값이 특이 치에 비해 강력합니다).

$x_i$

$f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
소스

감사! 일관되고 비정규 적으로 정상인 최소 대비 추정기의 속성과 중간 값, Huber 추정기, 샘플 Quantile과 같은 예에 대한 좋은 참고 자료가 있습니까?

— Tim

Bickel & Doksum 서적의 5.2.2 절은 최소 대비 추정기의 일관성에 대한 정리를 가지고 있습니다. 섹션 5.4.2는 점근 적 정상 성을 설명합니다. 내가 추천하고 내가 언급 한 다른 견적에 대해 논의하는 또 다른 출처는 van der Vaart의 Asymptotic Statistics 책입니다. 5 장은 M-estimators에 관한 것으로 최소 대비 추정기의 이름입니다.

— DavidR

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

표준 유클리드 표준을 의미합니다. 명확히하기 위해 벡터 표기법으로 변경했습니다.

— DavidR

l

$l$