왜 표본 표준 편차가 의 편향 추정기 입니까?

표준 편차 의 편견 추정 에 대한 Wikipedia 기사에 따르면 샘플 SD

에스 = \sqrt{\frac{1}{엔 - 1} \sum_{나는 = 1}^{엔} ({엑스}_{나는} - \bar{엑스})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

은 인구의 SD에 대한 편견 추정기입니다. 이것은 그 상태 . $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$

NB. 임의의 변수는 독립적이며 각 $x_{i} \sim N(\mu,\sigma^{2})$

내 질문은 두 가지입니다.

편견의 증거는 무엇입니까?
표본 표준 편차의 기대치를 어떻게 계산합니까

수학 / 통계에 대한 나의 지식은 중간에 지나지 않습니다.

estimation standard-deviation

— Dav Weps
소스

Chi 배포판 의 Wikipedia 기사에서 두 가지 질문에 대한 답변을 찾을 수 있습니다 .

— whuber

이 질문에 대한 @NRH의 대답은 표본 표준 편차의 편향에 대한 훌륭하고 간단한 증거를 제공합니다. 여기에서는 정규 분포 표본에서 표본 표준 편차 (원래 포스터의 두 번째 질문)에 대한 기대치를 명시 적으로 계산합니다.

포인트들의 세트의 바이어스 표본 분산 있다 $x_1, ..., x_n$

{에스}^{2} = \frac{1}{엔 - 1} \sum_{나는 = 1}^{엔} ({엑스}_{나는} - \bar{엑스})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

가 정규 분포를 따르는 경우, $x_i$

\frac{(엔 - 1) {에스}^{2}}{σ^{2}} \sim χ_{엔 - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

여기서 는 실제 분산입니다. 분포 확률 밀도 $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

이를 사용하여 의 예상 값을 도출 할 수 있습니다 . $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d 엑스 \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

이는 기대 값의 정의와 가 분산 변수 이라는 사실에 따릅니다 . 요령은 이제 정수가 다른 밀도 가되도록 항을 재배 열하는 것입니다 . $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s i t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

이제 우리는 마지막 줄이 1과 같다는 것을 알고있다. 왜냐하면 그것은 밀도 이기 때문이다 . 약간의 상수를 단순화 $\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

따라서 의 치우침 은 $s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) \sim \frac{σ}{4 엔}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$ 을 합니다.

n \to \infty

$n \to \infty$

유한 대해이 바이어스가 0이 아님을 알기 어렵지 않으므로 샘플 표준 편차가 바이어스됨을 증명합니다. 바이어스 아래에는 에 대한 의 함수 , 빨간색의 및 파란색의 이 플롯됩니다 . $n$ $n$ $\sigma=1$ $1/4n$

여기에 이미지 설명을 입력하십시오

— 매크로
소스

(+1) 좋은 대답입니다. 나는 당신이 신경 쓰지 않기를 바랍니다. 나는 아주 사소한 것들 몇 가지를 조정하고 편견에 관한 점근 적 결과를 추가했습니다. 곡선에 곡선 을 겹쳐 놓을 수 있다고 가정 하지만, 불필요 할 수도 있습니다. 건배. :)

(4 n)^{- 1}

$(4n)^{-1}$

— 추기경

이 매크로를 수행하기 위해 많은 고통을 겪었습니다. 약 1 분 전에 처음으로 게시물을 보았을 때 Jensen의 규칙을 사용하여 편견을 보여 주려고 생각했지만 누군가 이미했습니다.

— Michael Chernick

물론 이것은 표준 편차가 편향되어 있음을 보여주는 둥근 방법입니다. 저는 주로 원래 포스터의 두 번째 질문에 답했습니다. "표준 편차에 대한 기대치는 어떻게 계산합니까?"

— 매크로

s

$s$

σ^{k}

$\sigma^k$

s^{k}

$s^k$

k

$k$

{에스}^{2} = \frac{1}{엔 - 1} \sum_{나는 = 1}^{엔} ({엑스}_{나는} - \bar{엑스})^{2}

$s^2 = \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2$

σ^{2}

$\sigma^2$

이자형 (\sqrt{{에스}^{2}}) < \sqrt{이자형 ({에스}^{2})} = σ

$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— NRH
소스

{에스}_{엔} = \sqrt{\sum_{나는 = 1}^{엔} \frac{({엑스}_{나는} - {\bar{엑스}}_{엔})^{2}}{엔 - 1}},

$S_n = \sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X}_n)^2}{n-1}} ,$

S_{n}

$S_n$

V a r [S_{n}] \neq 0

$\mathrm{Var}[S_n]\ne0$

0 < V 에이 아르 자형 [{에스}_{엔}] = 이자형 [{에스}_{엔}^{2}] - {이자형}^{2} [{에스}_{엔}] \Leftrightarrow {이자형}^{2} [{에스}_{엔}] < 이자형 [{에스}_{엔}^{2}] \Leftrightarrow 이자형 [{에스}_{엔}] < \sqrt{이자형 [{에스}_{엔}^{2}]} = σ .

$0 < \mathrm{Var}[S_n] = \mathrm{E}[S_n^2] - \mathrm{E}^2[S_n] \;\;\Leftrightarrow\;\; \mathrm{E}^2[S_n] < \mathrm{E}[S_n^2] \;\;\Leftrightarrow\;\; \mathrm{E}[S_n] < \sqrt{\mathrm{E}[S_n^2]} =\sigma.$

— 선
소스