표준 편차에 대한 폐쇄 형 비 편향 추정기가 어떤 분포에 대해 있습니까?

정규 분포의 경우 다음과 같이 표준 편차에 대한 편견 추정기가 있습니다.

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

이 결과가 잘 알려지지 않은 이유는 그것이 수입이 큰 문제가 아니라 주로 큐리오이기 때문인 것으로 보인다 . 이 스레드에서 증명이 이루어 집니다 . 정규 분포의 주요 특성을 활용합니다.

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

거기에서 약간의 작업으로 $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ , 그리고 배수 등이 응답 확인함으로써 $\sigma$ 들어, 우리가 추론 할 수있는 결과. $\hat{\sigma}_\text{unbiased}$

이로 인해 다른 분포에 표준 편차의 닫힌 형태의 편향 추정기가 있는지 궁금합니다. 편차의 편견 추정기와 달리 분포에 따라 다릅니다. 또한 다른 분포에 대한 추정값을 찾기 위해 증거를 수정하는 것은 간단하지 않습니다.

스큐-정규 분포는 이차 형태에 대한 훌륭한 분포 특성을 가지는데, 우리가 사용한 정규 분포 특성은 사실상 특수한 경우이므로 (정규는 스큐 법선의 특수 유형이므로) 아마도 그렇게 어렵지 않을 것입니다 이 방법을 그들에게 확장하십시오. 그러나 다른 배포의 경우 완전히 다른 접근 방식이 필요합니다.

이러한 견적자가 알려진 다른 배포판이 있습니까?

mathematical-statistics standard-deviation unbiased-estimator

— 은어
소스

기술적 혼란을 무시하면 답의 본질이 더 명확 해집니다. 보통의 경우 여러분이 작성하는 내용의 거의가 결론과 관련이 없습니다. 중요한 것은이 특정 추정기의 바이어스 양이

의 함수라는 것입니다 (그리고 데이터에서 추정해야하는 다른 분포 매개 변수에 의존하지 않음).

n

$n$

— whuber

@ whuber 나는 당신이 암시하는 일반적인 아이디어를 볼 수 있다고 생각하며 분명히 "

단독의 기능 "이 필요합니다. 그러나 나는 그것이 충분할 것이라고 생각하지 않는다. 만약 우리가 좋은 분배 결과에 접근 할 수 없다면 "폐쇄 된 형태"측면이 어떻게 다루어 질지 알 수 없다.

n

$n$

— Silverfish

"닫힌 양식"의 의미에 따라 다릅니다. 예를 들어, 한 사람에게는 세타 기능이 "폐쇄"될 수 있지만 다른 사람에게는 세타 기능이 무한한 제품, 전력 계열 또는 복잡한 적분 일뿐입니다. 생각해 보면 감마 함수는 정확히 :-)입니다.

— whuber

@whuber 좋은 지적입니다! "이 특정 추정에서 바이어스의 양", 나는 그것을 받아함으로써 당신은 의미한다는 점에서 바이어스

의 함수이다 (오히려 제로 편차가 질문에 나열된 추정보다)

(도에서

하지만, 다행스럽게도 편향되지 않은 추정기를 찾기 위해 쉽게 재 배열 할 수있는 방법으로)?

s

$s$

n

$n$

σ

$\sigma$

— Silverfish

@ whuber : 모든 위치 규모 패밀리에 대해 유사한 공식이 있어야합니다.주의해야 할 점은

의 함수가 다루기 힘든 정수일 수 있다는 점입니다 .

n

$n$

— Xi'an

답변:

이 질문에 직접적으로 연결되어 있지는 않지만 Peter Bickel과 Erich Lehmann 의 1968 년 논문 에는 볼록한 분포 군 에 대해 함수형 의 표본 추정값이 있습니다 (샘플 크기의 경우) 가 의 다항식 인 경우에만 충분히 큼 $F$ $q(F)$ $n$ $q(\alpha F+(1-\alpha)G)$ $0\le \alpha\le 1$ . 가우시안 분포의 모음이 볼록하지 않기 때문에 (이 가우스의 혼합은 가우시안이 아니므로)이 정리는 여기서 문제에 적용되지 않습니다.

문제의 결과의 확장은 때 충분한 관측치가있는 경우 표준 편차의 검정력 가 편견없이 추정 될 수 있다는 것 입니다. 이것은 결과 에서 따릅니다 $\sigma^\alpha$ $\alpha<0$ 것을위한 스케일 (독특한) 파라미터

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$ .

This normal setting can then be extended to any location-scale family

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$ with a finite variance

σ^{2}

$\sigma^2$ . Indeed,

the variance ${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ is only a function of $\tau$ ;
the sum of squares $\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ has an expectation of the form $\tau^2\psi(n)$ ;
and similarly for any power $E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$ such that the expectation is finite.

— Xi'an
소스

A probably well known case, but a case nevertheless.
Consider a continuous uniform distribution $U(0,\theta)$ . Given an i.i.d. sample, the maximum order statistic, $X_{(n)}$ has expected value

E (X_{(n)}) = \frac{n}{n + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

The standard deviation of the distribution is

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

So the estimator

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{n + 1}{n} X_{(n)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

is evidently unbiased for $\sigma$ .

This generalizes to the case where the lower bound of the distribution is also unknown, since we can have an unbiased estimator for the Range, and then the standard deviation is again a linear function of the Range (as is essentially above also).

This exemplifies @whuber's comment, that "the amount of bias is a function of $n$ alone" (plus possibly any known constants) -so it can be deterministically corrected. And this is the case here.

— Alecos Papadopoulos
소스

Now the hard part: when in the world are we interested in the standard deviation of a uniform distribution? (+1)

— shadowtalker

@ssdecontrol That's an excellent question! -please proceed to the next one...

— Alecos Papadopoulos

One thing I love about this answer is how poor the estimator is. It's quite common to see a question which boils down to "why do we use

\hat{θ}

$\hat{\theta}$ as an estimator even though it's biased?" Some students need convincing that unbiasedness is not the be-all and end-all, and a poor unbiased estimator is one way to show them.

— Silverfish

@Silverfish Poor in what way? Some quick simulations show this to have lower MSE than the usual standard deviation (which surprised me).

— Dave

@Dave Interesting! I had jumped to the conclusion it would be poor since it only looked at the maximum order statistic, but I too stand surprised! Shows the value of doing some simulation...

— Silverfish