왜 정규 분포의 에 대해 편향되고 잘못된 표준 편차 공식을 사용 합니까?

그것은 나에게 충격의 비트로의 평균 것을 나는 정규 분포 몬테카를로 시뮬레이션을했고, 발견 처음 온 에서 표준 편차 샘플, 모든 단지의 샘플 크기를 갖는 훨씬 적은 것으로 판명를, 즉, 모집단을 생성하는 데 사용되는 평균 회보다 . 그러나 이것은 거의 기억 나지 않는다면 잘 알려져 있으며, 내가 알거나 시뮬레이션을하지 않았을 것입니다. 시뮬레이션은 다음과 같습니다.$100$$100$$n=2$$\sqrt{\frac{2}{\pi }}$$\sigma$

다음은 100, , 및 사용하여 의 95 % 신뢰 구간을 예측하는 예입니다. .$N(0,1)$$n=2$$\text{SD}$$\text{E}(s_{n=2})=\sqrt\frac{\pi}{2}\text{SD}$

 RAND()   RAND()    Calc    Calc    
 N(0,1)   N(0,1)    SD      E(s)    
-1.1171  -0.0627    0.7455  0.9344  
 1.7278  -0.8016    1.7886  2.2417  
 1.3705  -1.3710    1.9385  2.4295  
 1.5648  -0.7156    1.6125  2.0209  
 1.2379   0.4896    0.5291  0.6632  
-1.8354   1.0531    2.0425  2.5599  
 1.0320  -0.3531    0.9794  1.2275  
 1.2021  -0.3631    1.1067  1.3871  
 1.3201  -1.1058    1.7154  2.1499  
-0.4946  -1.1428    0.4583  0.5744  
 0.9504  -1.0300    1.4003  1.7551  
-1.6001   0.5811    1.5423  1.9330  
-0.5153   0.8008    0.9306  1.1663  
-0.7106  -0.5577    0.1081  0.1354  
 0.1864   0.2581    0.0507  0.0635  
-0.8702  -0.1520    0.5078  0.6365  
-0.3862   0.4528    0.5933  0.7436  
-0.8531   0.1371    0.7002  0.8775  
-0.8786   0.2086    0.7687  0.9635  
 0.6431   0.7323    0.0631  0.0791  
 1.0368   0.3354    0.4959  0.6216  
-1.0619  -1.2663    0.1445  0.1811  
 0.0600  -0.2569    0.2241  0.2808  
-0.6840  -0.4787    0.1452  0.1820  
 0.2507   0.6593    0.2889  0.3620  
 0.1328  -0.1339    0.1886  0.2364  
-0.2118  -0.0100    0.1427  0.1788  
-0.7496  -1.1437    0.2786  0.3492  
 0.9017   0.0022    0.6361  0.7972  
 0.5560   0.8943    0.2393  0.2999  
-0.1483  -1.1324    0.6959  0.8721  
-1.3194  -0.3915    0.6562  0.8224  
-0.8098  -2.0478    0.8754  1.0971  
-0.3052  -1.1937    0.6282  0.7873  
 0.5170  -0.6323    0.8127  1.0186  
 0.6333  -1.3720    1.4180  1.7772  
-1.5503   0.7194    1.6049  2.0115  
 1.8986  -0.7427    1.8677  2.3408  
 2.3656  -0.3820    1.9428  2.4350  
-1.4987   0.4368    1.3686  1.7153  
-0.5064   1.3950    1.3444  1.6850  
 1.2508   0.6081    0.4545  0.5696  
-0.1696  -0.5459    0.2661  0.3335  
-0.3834  -0.8872    0.3562  0.4465  
 0.0300  -0.8531    0.6244  0.7826  
 0.4210   0.3356    0.0604  0.0757  
 0.0165   2.0690    1.4514  1.8190  
-0.2689   1.5595    1.2929  1.6204  
 1.3385   0.5087    0.5868  0.7354  
 1.1067   0.3987    0.5006  0.6275  
 2.0015  -0.6360    1.8650  2.3374  
-0.4504   0.6166    0.7545  0.9456  
 0.3197  -0.6227    0.6664  0.8352  
-1.2794  -0.9927    0.2027  0.2541  
 1.6603  -0.0543    1.2124  1.5195  
 0.9649  -1.2625    1.5750  1.9739  
-0.3380  -0.2459    0.0652  0.0817  
-0.8612   2.1456    2.1261  2.6647  
 0.4976  -1.0538    1.0970  1.3749  
-0.2007  -1.3870    0.8388  1.0513  
-0.9597   0.6327    1.1260  1.4112  
-2.6118  -0.1505    1.7404  2.1813  
 0.7155  -0.1909    0.6409  0.8033  
 0.0548  -0.2159    0.1914  0.2399  
-0.2775   0.4864    0.5402  0.6770  
-1.2364  -0.0736    0.8222  1.0305  
-0.8868  -0.6960    0.1349  0.1691  
 1.2804  -0.2276    1.0664  1.3365  
 0.5560  -0.9552    1.0686  1.3393  
 0.4643  -0.6173    0.7648  0.9585  
 0.4884  -0.6474    0.8031  1.0066  
 1.3860   0.5479    0.5926  0.7427  
-0.9313   0.5375    1.0386  1.3018  
-0.3466  -0.3809    0.0243  0.0304  
 0.7211  -0.1546    0.6192  0.7760  
-1.4551  -0.1350    0.9334  1.1699  
 0.0673   0.4291    0.2559  0.3207  
 0.3190  -0.1510    0.3323  0.4165  
-1.6514  -0.3824    0.8973  1.1246  
-1.0128  -1.5745    0.3972  0.4978  
-1.2337  -0.7164    0.3658  0.4585  
-1.7677  -1.9776    0.1484  0.1860  
-0.9519  -0.1155    0.5914  0.7412  
 1.1165  -0.6071    1.2188  1.5275  
-1.7772   0.7592    1.7935  2.2478  
 0.1343  -0.0458    0.1273  0.1596  
 0.2270   0.9698    0.5253  0.6583  
-0.1697  -0.5589    0.2752  0.3450  
 2.1011   0.2483    1.3101  1.6420  
-0.0374   0.2988    0.2377  0.2980  
-0.4209   0.5742    0.7037  0.8819  
 1.6728  -0.2046    1.3275  1.6638  
 1.4985  -1.6225    2.2069  2.7659  
 0.5342  -0.5074    0.7365  0.9231  
 0.7119   0.8128    0.0713  0.0894  
 1.0165  -1.2300    1.5885  1.9909  
-0.2646  -0.5301    0.1878  0.2353  
-1.1488  -0.2888    0.6081  0.7621  
-0.4225   0.8703    0.9141  1.1457  
 0.7990  -1.1515    1.3792  1.7286  

 0.0344  -0.1892    0.8188  1.0263  mean E(.)
                    SD pred E(s) pred   
-1.9600  -1.9600   -1.6049 -2.0114    2.5%  theor, est
 1.9600   1.9600    1.6049  2.0114   97.5%  theor, est
                    0.3551 -0.0515    2.5% err
                   -0.3551  0.0515   97.5% err

총계를 보려면 슬라이더를 아래로 끕니다. 이제 일반 SD 추정기를 사용하여 평균 0 주위의 95 % 신뢰 구간을 계산했으며 0.3551 표준 편차 단위로 해제되었습니다. E (s) 추정기는 0.0515 표준 편차 단위 만 꺼집니다. 표준 편차, 평균의 표준 오차 또는 t- 통계량을 추정하면 문제가있을 수 있습니다.

내 추론은 다음과 같습니다. 두 값 의 모집단 평균 는 과 관련하여 어디든지있을 수 있으며 에 위치하지 않습니다. 후자는 절대적으로 가능한 최소 합계를 만듭니다. 다음과 같이 과소 평가하기 위해 제곱x 1 x 1 + x $\mu$$x_1$$\frac{x_1+x_2}{2}$$\sigma$

wlog let 이면 는 , 가능한 최소 결과.Σ n i = 1 ( x i − ˉ x ) 2 2 ( $x_2-x_1=d$$\Sigma_{i=1}^{n}(x_i-\bar{x})^2$$2 (\frac{d}{2})^2=\frac{d^2}{2}$

즉 표준 편차는 다음과 같이 계산됩니다.

$\text{SD}=\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}$ ,

모집단 표준 편차 ( ) 의 바이어스 추정량입니다 . 이 공식에서 우리는 의 자유도를 1 씩 줄이고 나눕니다 . 즉, 우리는 약간의 수정을 수행하지만, 단지 무정형이며 가 더 나은 경험 법칙입니다 . 우리 들어 일례 화학식 우리에게 제공 할 같은 통계적 타당 최소값 보다 바람직한 기대 값 ( )은n n − 1 n − 3 / 2 x 2 − x 1 = d SD S D = $\sigma$$n$$n-1$$n-3/2$$x_2-x_1=d$$\text{SD}$μ≠ˉxsE(s)=$SD=\frac{d}{\sqrt 2}\approx 0.707d$$\mu\neq \bar{x}$$s$n<10SDσn25n<25n=$E(s)=\sqrt{\frac{\pi }{2}}\frac{d}{\sqrt 2}=\frac{\sqrt\pi }{2}d\approx0.886d$. 일반적인 계산의 경우, , 는 이 약 때 의 1 % 과소 평가에만 접근하는 작은 수 바이어스 라고하는 매우 과소 평가되어 있습니다. 많은 생물학적 실험에서 가 있기 때문에 이것은 실제로 문제입니다. 내용 , 오차는 대략 10에서 25 중량 부이다. 일반적으로 소수 바이어스 보정 은 정규 분포의 모집단 표준 편차에 대한 편견 추정기가 다음과 같다는 것을 의미합니다.$n<10$$\text{SD}$$\sigma$$n$$25$$n<25$$n=1000$

$\text{E}(s)\,=\,\,\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}>\text{SD}=\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}\; .$

에서 위키 백과 를 크리에이티브 커먼즈 라이센스에 따라하는 것은의 SD의 과소 평가의 플롯이있다$\sigma$

SD는 모집단 표준 편차의 편향 추정기 이므로 로 MVUE라고 말하지 않는 한, 모집단 표준 편차 의 최소 ​​분산 편향 추정량 MVUE 가 될 수 없습니다.$n\rightarrow \infty$

비 - 정규 분포에 관하여 대략 바이어스 판독 이 .$SD$

이제 질문 Q1 이 온다

위의 가 샘플 크기 의 정규 분포의 에 대한 MVUE 임을 증명할 수 있습니까 ? 여기서 은 1보다 큰 양의 정수입니다.σ N $\text{E}(s)$$\sigma$$n$$n$

힌트 : (답은 아닙니다) 정규 분포에서 표본 표준 편차의 표준 편차를 어떻게 찾을 수 있습니까?를 참조하십시오. .

다음 질문, Q2

어쨌든 사용하는 이유가 무엇인지 설명해 주시겠습니까 ? 즉, 대부분의 모든 것에 사용하지 않는 이유는 무엇입니까? E ( 초 $\text{SD}$$\text{E}(s)$보충적으로, 아래 답변에서 분산이 편향되지 않았지만 제곱근이 치우친다는 것이 분명해졌습니다. 나는 편향되지 않은 표준 편차가 사용되어야 할 때의 문제에 대한 답변을 요구할 것이다.

결과적으로, 위의 시뮬레이션에서 편견을 피하기 위해 분산은 SD 값이 아닌 평균화되었을 수 있습니다. 이 효과를 확인하기 위해 위의 SD 열을 제곱하고 그 값을 평균하면 0.9994를 얻습니다. 제곱근은 표준 편차 0.9996915의 추정치이며 오류는 2.5 % 꼬리에 대해 0.0006입니다. 95 % 꼬리의 경우 -0.0006 분산은 부가 적이므로 평균화는 오류 절차가 낮습니다. 그러나 표준 편차는 치우 치며 분산을 중개자로 사용하는 사치가없는 경우에도 여전히 작은 수의 수정이 필요합니다. 분산을 중개자로 사용할 수 있지만이 경우$n=100$, 작은 표본 수정은 편차가없는 표준 편차 0.9996915의 제곱근에 1.002528401을 곱하여 1.002219148을 편차가없는 표준 편차 추정치로 제안합니다. 따라서 작은 숫자 수정을 사용하여 지연시킬 수는 있지만 완전히 무시해야합니까?

여기서 문제는 사용을 무시하는 대신 작은 숫자 수정을 사용해야 할 때이며, 주로 사용을 피했습니다.

또 다른 예는 오류가있는 선형 추세를 설정하기위한 공간의 최소 포인트 수는 3입니다. 이 점들을 보통 최소 제곱으로 맞추면 비선형 성이 있으면 접힌 법선 잔차 패턴이되고 선형성이 있으면 절반 법선이됩니다. 일반적으로 절반의 경우 분포 평균은 적은 수의 수정이 필요합니다. 우리가 4 개 이상의 포인트로 같은 트릭을 시도하면, 분포는 일반적으로 관련이 없거나 특성화하기 쉽지 않습니다. 분산을 사용하여 어떻게 3 점 결과를 결합 할 수 있습니까? 아마도 아닐 수도 있습니다. 그러나 거리와 벡터 측면에서 문제를 파악하는 것이 더 쉽습니다.

더 제한적인 질문

바이어스 표준 편차 공식이 일반적으로 사용되는 이유는 무엇입니까?

간단한 대답

연관된 분산 추정기가 편향되지 않기 때문 입니다. 실제 수학적 / 통계적 정당성은 없습니다.

많은 경우에 정확할 수 있습니다.

그러나 항상 그런 것은 아닙니다. 이해해야 할이 문제들에는 적어도 두 가지 중요한 측면이 있습니다.

먼저 표본 분산 는 가우스 랜덤 변수에 대해 편향되지 않습니다. 유한 분산 (아래의 원래 답변에서 논의 됨)가 있는 분포에 대해 편향되지 않습니다 . 질문은 가 대해 편향되지 않았 으며 가우시안 랜덤 변수에 대해 편향되지 않은 대안을 제안합니다. 그러나 분산과 달리 표준 편차의 경우 "분포가없는"편견 추정량을 가질 수 없습니다 (* 참고 참고).σ 2 s $s^2$$\sigma^2$$s$$\sigma$

둘째, whuber의 의견에서 언급했듯이 가 바이어스 된다는 사실 은 표준 "t 테스트"에 영향을 미치지 않습니다 . 우선 참고 가우시안 변수에 대한 그 , 우리의 샘플에서, Z 스코어를 추정하는 경우 로서 그러면 바이어스됩니다.x { x i } z i = x i − $s$$x$$\{x_i\}$

$$z_i=\frac{x_i-\mu}{\sigma}\approx\frac{x_i-\bar{x}}{s}$$

그러나 t 통계량은 일반적으로 의 샘플링 분포 와 관련하여 사용됩니다 . 이 경우 z 점수는 비록 모르기 때문에 나 계산할 수 는 없습니다 . 그럼에도 불구하고 통계가 정상이면 통계 는 Student-t distribution을 따릅니다 . 이는 대형 - 아니다 근사. 유일한 가정은 iid Gaussian 이라는 가정입니다 . z ˉ x = ˉ x −$\bar{x}$ztμz ˉ x tn

$$z_{\bar{x}}=\frac{\bar{x}-\mu}{\sigma_{\bar{x}}}\approx\frac{\bar{x}-\mu}{s/\sqrt{n}}=t$$ $z$$t$$\mu$$z_{\bar{x}}$$t$$n$$x$

(통상적 t- 검정 아마도 비 가우시안 더 넓게 적용되는 . 이것은 않는 대형 - 의존 , 이는 중심 극한 정리에 의하여 것을 보장 여전히 가우시안 일 것이다.)N ˉ $x$$n$$\bar{x}$

---

* "배포가없는 편견 추정기"에 대한 설명

"배포 무료"란 추정기가 표본 외에 인구 에 대한 정보에 의존 할 수 없음을 의미합니다 . "편견이 없음" 은 샘플 크기 과 상관 없이 예상되는 오류 가 균일하게 0임을 의미합니다 . (단순히 무의식적으로 편향된 추정기와 달리 " 일관성 "인 편향은 로 사라집니다 .{ X 1 , ... , X의 N } E [ θ N ] - θ N , N → $x$$\{x_1,\ldots,x_n\}$$\mathbb{E}[\hat{\theta}_n]-\theta$$n$$n\to\infty$

의견에서 이것은 "배포가없는 편견 추정기"의 가능한 예로서 제시되었다. 약간 하면이 추정기는 이며 여기서 는 의 초과 첨도입니다 . 는 의 분포에 의존하기 추정기는 "배포 가 없는 " 것이 아닙니다 . 추정기는 여기서 는 의 분산입니다 . 따라서 추정기는 과 같이 일관성이 있지만 "절대적으로" "편의되지 않은"것은 아닙니다κXXκXXE[ σ ]-σX=O[$\hat{\sigma}=f[s,n,\kappa_x]$$\kappa_x$$x$$\kappa_x$$x$σ 2 x xO[$\mathbb{E}[\hat{\sigma}]-\sigma_x=\mathrm{O}[\frac{1}{n}]$$\sigma_x^2$$x$$\mathrm{O}[\frac{1}{n}]$작은 경우 임의로 커질 수 있습니다 .$n$

---

참고 : 아래는 원래 "답변"입니다. 여기에서 주석은 표준 "표본"평균 및 분산에 관한 것이며, 이는 "분포가없는"편견 추정치입니다 (즉, 모집단이 가우시안으로 가정 되지 않음 ).

이것은 완전한 해답이 아니라 표본 분산 공식이 왜 일반적으로 사용 되는지에 대한 설명입니다 .

임의의 표본 주어지면 변수에 공통의 평균이있는 한 추정값 는 편향되지 않습니다 (예 : ˉ x = $\{x_1,\ldots,x_n\}$E[xi]=$\bar{x}=\frac{1}{n}\sum_ix_i$

$$\mathbb{E}[x_i]=\mu \implies \mathbb{E}[\bar{x}]=\mu$$

변수는 공통 유한 차이가 있고, 이러한 경우에는 상관 다음 추정기 것 또한 , 바이어스 될 즉, 이 추정값의 편견은 위의 가정 (및 기대 의 선형성 , 증거는 대수적 임) 에만 의존 합니다 . 결과는 가우시안과 같은 특정 분포에 의존 하지 않습니다 . 변수 는 공통 분포를 가질 필요가 없으며 , 변수 도 같을 필요는 없습니다.E[xixj]−μ2={ σ 2 i = j 0 i ≠ $s^2=\frac{1}{n-1}\sum_i(x_i-\bar{x})^2$x

$$\mathbb{E}[x_ix_j]-\mu^2=\begin{cases}\sigma^2&i=j\\0&i\neq{j}\end{cases} \implies \mathbb{E}[s^2]=\sigma^2$$ $x_i$독립적 (즉, 샘플은 iid 일 필요는 없습니다 ).

"샘플 표준 편차" 입니다 하지 편견 추정, , 그럼에도 불구하고이 일반적으로 사용된다. 내 생각에 이것은 단순히 편향되지 않은 표본 분산의 제곱근이기 때문입니다. (더 이상 정교한 근거가 없습니다.)S ≠ $s$$\mathbb{s}\neq\sigma$

iid Gaussian 샘플의 경우 모수 의 최대 우도 추정치 (MLE)는 및 즉, 분산 은 대신 으로 나눕니다 . 또한, iid Gaussian의 경우 표준 편차 MLE은 MLE 분산의 제곱근입니다. 그러나이 수식과 귀하의 질문에 암시 된 수식은 Gaussian iid 가정에 달려 있습니다. ( σ 2)MLE=N-$\hat{\mu}_\mathrm{MLE}=\bar{x}$nn$(\hat{\sigma}^2)_\mathrm{MLE}=\frac{n-1}{n}s^2$$n$$n^2$

---

업데이트 : "편견"과 "편견 없음"에 대한 추가 설명.

고려 위와 - 요소 샘플을 , 합 평방 편차 주어진 가정 약술 위의 첫 번째 부분에는 반드시 있으므로 (Gaussian-) MLE 추정기는 바이어스됩니다. "샘플 분산"추정기 편향되지 X = { x 1 , … , x n } δ 2 n = ∑ i ( x i − ˉ x ) 2 E [ δ 2 n ] = ( n − 1 ) σ 2 ^ σ 2 n = $n$$X=\{x_1,\ldots,x_n\}$

$$\delta^2_n=\sum_i(x_i-\bar{x})^2$$ $$\mathbb{E}[\delta^2_n]=(n-1)\sigma^2$$ s 2 n = $$\widehat{\sigma^2_n}=\tfrac{1}{n}\delta^2_n \implies \mathbb{E}[\widehat{\sigma^2_n}]=\tfrac{n-1}{n}\sigma^2$$ $$s^2_n=\tfrac{1}{n-1}\delta^2_n \implies \mathbb{E}[s^2_n]=\sigma^2$$

이제 샘플 크기 증가함에 따라 이 덜 편향 되는 것이 사실입니다 . 그러나 은 샘플 크기에 관계없이 바이어스 가 0입니다 ( ). 두 추정기를 들어, 분산 자신의 표본 분포는 비 제로 일 것이며,에 의존 . ns 2 n n>1$\widehat{\sigma^2_n}$$n$$s^2_n$$n>1$$n$

예를 들어, 아래 Matlab 코드 는 표준 정규 모집단 에서 샘플을 사용한 실험을 고려합니다 . 대한 샘플링 분포를 추정하기 위해 실험은 번 반복됩니다. ( 여기서 코드를 잘라 붙여 넣어 직접 사용해 볼 수 있습니다.)z ˉ x , ^ σ 2 , s 2 N = 10 $n=2$$z$$\bar{x},\widehat{\sigma^2},s^2$$N=10^6$

% n=sample size, N=number of samples
n=2; N=1e6;
% generate standard-normal random #'s
z=randn(n,N); % i.e. mu=0, sigma=1
% compute sample stats (Gaussian MLE)
zbar=sum(z)/n; zvar_mle=sum((z-zbar).^2)/n;
% compute ensemble stats (sampling-pdf means)
zbar_avg=sum(zbar)/N, zvar_mle_avg=sum(zvar_mle)/N
% compute unbiased variance
zvar_avg=zvar_mle_avg*n/(n-1)

전형적인 출력은

zbar_avg     =  1.4442e-04
zvar_mle_avg =  0.49988
zvar_avg     =  0.99977

그 확인

$$\begin{align} \mathbb{E}[\bar{z}]&\approx\overline{(\bar{z})}\approx\mu=0 \\ \mathbb{E}[s^2]&\approx\overline{(s^2)}\approx\sigma^2=1 \\ \mathbb{E}[\widehat{\sigma^2}]&\approx\overline{(\widehat{\sigma^2})}\approx\frac{n-1}{n}\sigma^2=\frac{1}{2} \end{align}$$

---

업데이트 2 : 편견없는 기본적으로 "대수"특성에 유의하십시오.

위의 숫자 데모에서 코드 는 실험의 복제를 가진 앙상블 평균을 사용하여 실제 기대 값 에 근접합니다 (즉, 각각은 크기가 샘플입니다 ). 이 숫자가 큰 경우에도 위에서 인용 한 일반적인 결과는 정확하지 않습니다.N = 10 6 n = $\mathbb{E}[\,]$$N=10^6$$n=2$

추정값이 실제로 편향되지 을 수치로 나타 내기 위해 간단한 트릭 을 사용 하여 대소 문자 를 추정 할 수 있습니다 . 코드에 다음 줄을 추가하면됩니다.$N\to\infty$

% optional: "whiten" data (ensure exact ensemble stats)
[U,S,V]=svd(z-mean(z,2),'econ'); z=sqrt(N)*U*V';

( "표준 정규 랜덤 난수 생성"후 및 "컴퓨 트 샘플 통계"앞에 배치)

이 간단한 변경으로 코드를 실행해도 다음과 같은 결과가 나타납니다.$N=10$

zbar_avg     =  1.1102e-17
zvar_mle_avg =  0.50000
zvar_avg     =  1.00000

표본 표준 편차 이 (가) 대해 충분하고 충분 하므로 의 바이어스되지 않은 추정치 세트 주어진$S=\sqrt{\frac{\sum (X - \bar{X})^2}{n-1}}$$\sigma$$\sigma^k$

$$\frac{(n-1)^\frac{k}{2}}{2^\frac{k}{2}} \cdot \frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n+k-1}{2}\right)} \cdot S^k = \frac{S^k}{c_k}$$

(참조 왜 표본 표준 편차의 바이어스 추정이다 ?$\sigma$ )하다의 레만 - Scheffe 방법 정리, UMVUE에 의해. 의 일관된, 바이어스 된 추정기는 과 같이 구성 될 수도 있습니다.$\sigma^k$

$$\tilde{\sigma}^k_j= \left(\frac{S^j}{c_j}\right)^\frac{k}{j}$$

( 때 바이어스되지 않은 추정값이 지정됨 ). 각각의 편견은$j=k$

$$\operatorname{E}\tilde{\sigma}^k_j - \sigma^k =\left( \frac{c_k}{c_j^\frac{k}{j}} -1 \right) \sigma^k$$

에 의한 차이

$$\operatorname{Var}\tilde{\sigma}^{k}_j=\operatorname{E}\tilde{\sigma}^{2k}_j - \left(\operatorname{E}\tilde{\sigma}^k_j\right)^2=\frac{c_{2k}-c_k^2}{c_j^\frac{2k}{j}} \sigma^{2k}$$

고려한 의 두 추정자에 대해 & , 의 편향이 없음 은 와 비교할 때 더 큰 분산으로 상쇄됩니다 .$\sigma$~ $\tilde{\sigma}^1_1=\frac{S}{c_1}$$\tilde{\sigma}^1_2=S$$\tilde{\sigma}_1$$\tilde{\sigma}_2$

$$\begin{align} \operatorname{E}\tilde{\sigma}_1 - \sigma &= 0 \\ \operatorname{E}\tilde{\sigma}_2 - \sigma &=(c_1 -1) \sigma \\ \operatorname{Var}\tilde{\sigma}_1 =\operatorname{E}\tilde{\sigma}^{2}_1 - \left(\operatorname{E}\tilde{\sigma}^1_1\right)^2 &=\frac{c_{2}-c_1^2}{c_1^2} \sigma^{2} = \left(\frac{1}{c_1^2}-1\right) \sigma^2 \\ \operatorname{Var}\tilde{\sigma}_2 =\operatorname{E}\tilde{\sigma}^{2}_1 - \left(\operatorname{E}\tilde{\sigma}_2\right)^2 &=\frac{c_{2}-c_1^2}{c_2} \sigma^{2}=(1-c_1^2)\sigma^2 \end{align}$$ ( 과 같습니다. 는 이미 의 편견 추정치입니다 .)$c_2=1$$S^2$$\sigma^2$

의 추정값 인 의 평균 제곱 오차 는 다음과 같습니다.$a_k S^k$$\sigma^2$

$$\begin{align} (\operatorname{E} a_k S^k - \sigma^k)^2 + \operatorname{E} (a_k S^k)^2 - (\operatorname{E} a_k S^k)^2 &= [ (a_k c_k -1)^2 + a_k^2 c_{2k} - a_k^2 c_k^2 ] \sigma^{2k}\\ &= ( a_k^2 c_{2k} -2 a_k c_k + 1 ) \sigma^{2k} \end{align}$$

따라서 최소화

$$a_k = \frac{c_k}{c_{2k}}$$

잠재적 관심있는 다른 추정기 집합을 정의 할 수 있습니다.

$$\hat{\sigma}^k_j= \left(\frac{c_j S^j}{c_{2j}}\right)^\frac{k}{j}$$

이상하게 분할가 동일한 일정하므로, 바이어스 곱셈을 제거가 MSE를 감소. 어쨌든, 이들은 의 균일 한 최소 분산 위치 불변 및 스케일 등가 추정량입니다 (섭씨 온도가 아닌 켈빈 단위로 측정하면 추정치가 전혀 변경되지 않기를 바랍니다. 배 는 화씨로 측정하는 경우).$\hat{\sigma}^1_1=c_1S$$S$$S$$\sigma^k$$\left(\frac{9}{5}\right)^k$

위의 어느 것도 가설 검정 또는 신뢰 구간의 구성과 관련이 없습니다 (예 를 들어이 발췌에서 표준 편차의 편향 추정이 일반적으로 관련이 없다고 말하는 이유는 무엇입니까? 참조 ). 그리고 & 배기도 추정량도 가능성의 매개 변수 저울 최대 우도 추정 관심을-고려 ^† 또는 편향되지 않은 중앙값 추정값 ; 또는 로그 정규 분포 의 기하 표준 편차입니다 . 작은 표본 ( 만든 몇 가지 인기있는 추정치를 보여주는 것이 좋습니다.$\tilde{\sigma}^k_j$$\hat{\sigma}^k_j$ $\sqrt{\frac{n-1}{n}}S$$\sqrt{\frac{n-1}{\chi^2_{n-1}(0.5)}}S$$\mathrm{e}^\sigma$$n=2$)를 상한 및 하한과 함께 & , 범위 갖는 같은 꼬리 신뢰 구간의 :$\sqrt{\frac{(n-1)s^2}{\chi^2_{n-1}(\alpha)}}$$\sqrt{\frac{(n-1)s^2}{\chi^2_{n-1}(1-\alpha)}}$$1-\alpha$

가장 다양한 추정치 사이의 스팬은 적절한 커버리지를 갖는 신뢰 구간의 너비와 비교하여 무시할 수 있습니다. (예를 들어 95 % CI는$(0.45s,31.9s)$.) 포인트 추정기의 속성에 대해 까다로운 점은 의미가 없습니다. 사용하고자하는 대상에 대해 상당히 명시 적으로 준비하지 않은 경우, 특정 응용 프로그램에 대해 사용자 지정 손실 함수를 정의 할 수 있습니다. 정확하게 (또는 거의) 편견없는 추정값을 선호하는 이유는 편향이 누적되는 것을 원하지 않는 후속 계산에 사용하기 때문입니다. 편향된 평균 편차 추정치의 예는 다음과 같은 간단한 예입니다. 더 복잡한 예는 선형 회귀 분석에서 응답으로 사용하는 것일 수 있습니다. 원칙적으로 모든 것을 포괄하는 모델은 중간 단계로 편견없는 추정치의 필요성을 제거해야하지만, 구체적으로 지정하고 맞추기가 더 까다로울 수 있습니다.

† 관측 된 데이터를 가장 가능성있게 만드는 의 값은 샘플링 분포를 고려하지 않고 추정치에 호소합니다.$\sigma$

Q2 : 왜 SD가 명확하게 편향되어 오도되어 SD를 사용하는지 설명해 주시겠습니까?

이것은 의견에서 제쳐두고 나왔지만 대답의 요점이기 때문에 반복되는 것으로 생각합니다.

표본 분산 공식은 편향되지 않으며 분산은 부가 적 입니다. 따라서 (병렬 한) 변환을 수행하려는 경우 이것이 "nice"SD 추정기보다 "nice"분산 추정기를 주장해야하는 심각한 통계적 이유입니다.

이상적인 세상에서는 동등 할 것입니다. 그러나이 우주에서는 사실이 아닙니다. 하나를 선택해야하므로 정보를 결합 할 수있는 항목을 선택할 수도 있습니다.

두 가지 표본 평균을 비교합니까? 차이의 분산은 차이의 합입니다.
여러 용어로 선형 대비를하고 있습니까? 분산의 선형 조합을 사용하여 분산을 구하십시오.
회귀선 적합을보고 계십니까? 추정 된 베타 계수의 분산 공분산 행렬을 사용하여 분산을 구합니다.
F- 검정 또는 t- 검정 또는 t- 기반 신뢰 구간을 사용합니까? F- 검정은 분산을 직접 요구합니다. t- 검정은 F- 검정의 제곱근과 정확히 같습니다.

이러한 각 일반적인 시나리오에서 편차가없는 분산으로 시작하면 최종 단계가보고를 위해 SD로 변환되지 않는 한 항상 바이어스되지 않은 상태로 유지됩니다.
한편, 당신은 편견 SDS, 아니 당신의 중간 단계도 최종 결과와 함께 시작했던 경우는 편견 될 것이다 어쨌든 .

이 게시물은 개요 형식입니다.

(1) 제곱근을 취하는 것은 아핀 변환이 아닙니다 (Credit @Scortchi.)

(2) 이므로${\rm var}(s) = {\rm E} (s^2) - {\rm E}(s)^2$${\rm E}(s) = \sqrt{{\rm E}(s^2) -{\rm var}(s)}\neq{\sqrt{\rm var(s)}}$

(3) ,${\rm var}(s)=\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}$$\text{E}(s)\,=\,\,\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}$$\neq\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}={\sqrt{\rm var(s)}}$

(4) 따라서, 우리는 대체 할 수없는 에 대한 에 대한 제곱근 아핀 아니므로, 작은.${\sqrt{\rm var(s)}}$$\text{E}(s)$$n$

(5) 및 는 편향되지 않습니다 (각각 @ GeoMatt22 및 @Macro).${\rm var}(s)$$\text{E}(s)$

비 - 정규 분포 (6) 때때로 (a) 미정 (예 코시 작은 가진 파레토 ) 및 (b)하지 UMVUE (예 코시 ( Student's- 와 ), 파레토, 유니폼, 베타). 더욱 일반적으로, 분산은 예 Student's-, 정의되지 않을 수 와 . 그러면 가 일반적인 케이스 배포에 대해 UMVUE가 아니라고 말할 수 있습니다. 따라서 표준 편차에 대한 대략적인 소수 수정 을 도입하는 데 특별한 책임이 없으며 , 이는 와 비슷한 제한을 가지지 만, 편향이 적습니다.$\bar{x}$$\alpha$$\rightarrow$$t$$df=1$$t$$1\leq df\leq2$$\text{var}(s)$$\sqrt{\text{var}(s)}$$\hat\sigma = \sqrt{ \frac{1}{n - 1.5 - \tfrac14 \gamma_2} \sum_{i=1}^n (x_i - \bar{x})^2 }$ ,

여기서 는 과도한 첨도입니다. 비슷한 맥락에서 정규 제곱 분포 ( 변환 의 카이 제곱)를 조사 할 때 제곱근 을 취하여 정규 분포 속성을 사용하려는 유혹을받을 수 있습니다. 즉, 정규 분포는 일반적으로 다른 분포의 변형으로 인해 발생할 수 있으며 정규 분포에 대한 소수 수정의 제한이 그다지 제한적이지 않도록 해당 정규 분포의 특성을 조사하는 것이 편리 할 수 ​​있습니다. 처음에는 가정합니다.$\gamma_2$$df=1$

정규 분포의 경우 :

A1 : Lehmann-Scheffe 정리에 따르면 및 는 UMVUE (Credit @Scortchi)입니다.${\rm var}(s)$$\text{E}(s)$

A2 : (아래 주석을 조정하도록 편집되었습니다.) 경우 표준 편차, 표준 오차, 평균과 분포의 신뢰 구간 및 선택적으로 z-에 대해 사용해야합니다. 통계. 들어 우리가 같은 불편 추정을 사용하지 것이다 - 테스트 자체 Student's-이다 와 함께 배포 도를 자유 (Credit @whuber 및 @ GeoMatt22). Z-통계, 보통 사용 근사 큰하는 작지만되는E ( s ) $n\leq 25$$\text{E}(s)$$t$ tn−1σnE(s)−$\frac{ \bar X - \mu} {\sqrt{\text{var}(n)/n}}$$t$$n-1$$\sigma$$n$ E(s$\text{E}(s)-\sqrt{\text{var}(n)}$$\text{E}(s)$ 수학적으로 더 적절한 것으로 보입니다 (Credit @whuber 및 @ GeoMatt22).

이 토론에 베이지안 답변을 추가하고 싶습니다. 데이터가 평균과 분산을 알 수없는 정규에 따라 생성된다고 가정한다고해서 평균과 분산을 사용하여 데이터를 요약해야한다는 의미는 아닙니다. 모형을 그리면이 전체 문제를 피할 수 있습니다.이 모형은 세 개의 매개 변수 비 중심 척도 학생의 T 분포 인 사후 예측을 갖습니다. 세 개의 매개 변수는 샘플의 총계, 제곱 된 샘플의 총계 및 샘플 수입니다. (또는 이것들의 형용사지도.)

덧붙여서, 나는 정보를 결합하려는 우리의 소망을 강조하기 때문에 civilstat의 답변을 좋아합니다. 위의 세 가지 충분한 통계는 질문에 제공된 통계보다 더 우수합니다 (또는 Civilstat의 답변). 이러한 통계의 두 세트를 쉽게 결합 할 수 있습니다 그리고 그들은 정상의 가정 중에서 가장 후방 예측을 제공합니다.