비정규 표본의 표본 분산에 대한 점근 분포

이것은 이 질문 에 의해 제기 된 문제에 대한보다 일반적인 처리입니다 . 표본 분산의 점근 분포를 도출 한 후 델타 방법을 적용하여 표준 편차의 해당 분포에 도달 할 수 있습니다.

크기가 인 iid 비정규 랜덤 변수 , 평균 및 분산 . 표본 평균과 표본 분산을 $n$ $\{X_i\},\;\; i=1,...,n$ $\mu$ $\sigma^2$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{x})^{2}

$\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2$

우리는

E (s^{2}) = σ^{2}, Var (s^{2}) = \frac{1}{n} (μ_{4} - \frac{n - 3}{n - 1} σ^{4})

$E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right)$

여기서 이고, 어떤 순간이 존재하고 유한하며 존재하고 유한해야하는 분포에주의를 제한합니다. $\mu_4 = E(X_i -\mu)^4$

그것은 개최합니까

\sqrt{엔} ({에스}^{2} - σ^{2}) \to_{디} 엔 (0, μ_{4} - σ^{4}) ?

$\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 - \sigma^4\right)\;\; ?$

— 알레 코스 파파도풀로스
소스

허. 방금 다른 스레드에 게시했지만이 게시물을 게시했다는 사실을 깨닫지 못했습니다. 분산에 적용된 CLT에는 여러 가지 사항이 있습니다 (예 : p3-4 ). 좋은 대답 btw.

— Glen_b-복지국 Monica

감사. 예, 이것을 찾았습니다. 그러나 @whuber가 지적한 사례를 놓쳤다. 그들은 심지어 일반적인 로 Bernoulli 예제를 제공합니다 ! (4 페이지의 기초). 사례도 포함하도록 답변을 연장하고 있습니다.

p

$p$

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos

예, 나는 그들이 Bernoulli를 고려했지만 그 특별한 경우를 고려하지 않은 것을 보았습니다. 나는 확장 된 Bernoulli (동등한 이분법 적 사례)에 대한 구별에 대한 언급이 (몇 가지 다른 것 중에서도) 왜 (댓글이 아닌) 여기에 대답하여 논의하는 것이 가치가 있는지 한 가지 이유라고 생각합니다. 검색 할 수 있습니다.

— Glen_b-복지국 모니카

답변:

표본 분산을 고려할 때 발생하는 부수적 인 종속 관계에 대해 다음과 같이 씁니다.

(n - 1) s^{2} = \sum_{i = 1}^{n} ((X_{i} - μ) - (\bar{x} - μ))^{2}

$(n-1)s^2 = \sum_{i=1}^n\Big((X_i-\mu) -(\bar x-\mu)\Big)^2$

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 \sum_{i = 1}^{n} ((X_{i} - μ) (\bar{x} - μ)) + \sum_{i = 1}^{n} (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2-2\sum_{i=1}^n\Big((X_i-\mu)(\bar x-\mu)\Big)+\sum_{i=1}^n\Big(\bar x-\mu\Big)^2$

조금 조작 한 후에

= \sum_{나는 = 1}^{엔} ({엑스}_{나는} - μ)^{2} - 엔 (\bar{엑스} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2 - n\Big(\bar x-\mu\Big)^2$

따라서

\sqrt{엔} ({에스}^{2} - σ^{2}) = \frac{\sqrt{엔}}{엔 - 1} \sum_{나는 = 1}^{엔} ({엑스}_{나는} - μ)^{2} - \sqrt{엔} σ^{2} - \frac{\sqrt{엔}}{엔 - 1} 엔 (\bar{엑스} - μ)^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \sigma^2- \frac {\sqrt n}{n-1}n\Big(\bar x-\mu\Big)^2$

조작,

\sqrt{엔} ({에스}^{2} - σ^{2}) = \frac{\sqrt{엔}}{엔 - 1} \sum_{나는 = 1}^{엔} ({엑스}_{나는} - μ)^{2} - \sqrt{엔} \frac{엔 - 1}{엔 - 1} σ^{2} - \frac{엔}{엔 - 1} \sqrt{엔} (\bar{엑스} - μ)^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{엔 \sqrt{엔}}{엔 - 1} \frac{1}{엔} \sum_{나는 = 1}^{엔} ({엑스}_{나는} - μ)^{2} - \sqrt{엔} \frac{엔 - 1}{엔 - 1} σ^{2} - \frac{엔}{엔 - 1} \sqrt{엔} (\bar{엑스} - μ)^{2}

$=\frac {n\sqrt n}{n-1}\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{엔}{엔 - 1} [\sqrt{엔} (\frac{1}{엔} \sum_{나는 = 1}^{엔} ({엑스}_{나는} - μ)^{2} - σ^{2})] + \frac{\sqrt{엔}}{엔 - 1} σ^{2} - \frac{엔}{엔 - 1} \sqrt{엔} (\bar{엑스} - μ)^{2}

$=\frac {n}{n-1}\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right] + \frac {\sqrt n}{n-1}\sigma^2 -\frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

용어 은 무증상으로 통일된다. 라는 용어 는 결정적이며 로 0이됩니다 . $n/(n-1)$ $\frac {\sqrt n}{n-1}\sigma^2$ $n \rightarrow \infty$

또한 . 첫 번째 성분은 정규 분포로 수렴하고, 두 번째 성분은 확률은 0으로 수렴합니다. 그런 다음 Slutsky의 정리에 따라 곱은 0으로 수렴합니다. $\sqrt n\Big(\bar x-\mu\Big)^2 = \left[\sqrt n\Big(\bar x-\mu\Big)\right]\cdot \Big(\bar x-\mu\Big)$

\sqrt{n} (\bar{x} - μ)^{2} \overset{피}{\to} 0

$\sqrt n\Big(\bar x-\mu\Big)^2\xrightarrow{p} 0$

우리는 그 용어가 남았습니다

[\sqrt{엔} (\frac{1}{엔} \sum_{나는 = 1}^{엔} ({엑스}_{나는} - μ)^{2} - σ^{2})]

$\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right]$

이 답변 에 대한 의견에서 @whuber가 제공 한 치명적인 예제에 경고를 보내면 가 일정하지 확인하고 싶습니다 . Whuber는 가 Bernoulli 이면이 양은 상수 라고 지적했습니다 . 따라서이 일이 발생하는 변수 (아마도 이진이 아닌 다른 이분법 )를 제외하면 나머지는 $(X_i-\mu)^2$ $X_i$ $(1/2)$ $0/1$

이자형 ({엑스}_{나는} - μ)^{2} = σ^{2}, 바르 [({엑스}_{나는} - μ)^{2}] = μ_{4} - σ^{4}

$\mathrm{E}\Big(X_i-\mu\Big)^2 = \sigma^2,\;\; \operatorname {Var}\left[\Big(X_i-\mu\Big)^2\right] = \mu_4 - \sigma^4$

따라서 조사중인 용어는 고전적인 Central Limit Theorem의 일반적인 주제입니다.

\sqrt{엔} ({에스}^{2} - σ^{2}) \overset{디}{\to} 엔 (0, μ_{4} - σ^{4})

$\sqrt n(s^2 - \sigma^2) \xrightarrow{d} N\left(0,\mu_4 - \sigma^4\right)$

참고 : 위의 코스 결과는 정규 분포 샘플에도 적용되지만이 경우에는 유한 샘플 카이 제곱 분포 결과도 사용할 수 있습니다.

— 알레 코스 파파도풀로스
소스

+1 일반적인 이분법 분포는 모두 Bernoulli의 규모와 위치 버전이므로 Bernoulli에 대한 분석이 충분하기 때문에 확인할 필요가 없습니다. 내 시뮬레이션 (샘플 크기 )은 결과를 확인합니다 .

10^{1000}

$10^{1000}$

χ_{1}^{2}

$\chi^2_1$

— whuber

@whuber 감사합니다. 당신은 물론 Benroulli가 그들 모두의 어머니가되는 것에 대해 옳습니다.

— Alecos Papadopoulos

귀하는 이미 귀하의 질문에 대한 자세한 답변을 가지고 있지만 다른 질문을 제안 해 드리겠습니다. 사실, 더 짧은 증거는

S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S^2 = \frac{1}{n-1} \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

에 의존하지 않습니다 . 점근, 그것은 또한 우리가 요소 변경 여부를 중요하지 않습니다 에 나는 편의를 위해 할 것입니다. 우리는 다음 $E(X) = \xi$ $\frac{1}{n-1}$ $\frac{1}{n}$

\sqrt{n} (S^{2} - σ^{2}) = \sqrt{n} [\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - {\bar{X}}^{2} - σ^{2}]

$\sqrt{n} \left(S^2 - \sigma^2 \right) = \sqrt{n} \left[ \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 - \sigma^2 \right]$

그리고 이제 일반성을 잃지 않고 이라고 가정 하고 $\xi = 0$

\sqrt{n} {\bar{X}}^{2} = \frac{1}{\sqrt{n}} {(\sqrt{n} \bar{X})}^{2}

$\sqrt{n} \bar{X}^2 = \frac{1}{\sqrt{n}} \left( \sqrt{n} \bar{X} \right)^2$

두 번째 항이 (CLT 및 연속 매핑 정리에 의해) 확률로 제한되기 때문에 확률 한계는 0입니다. 즉, 입니다. 점근 결과는 이제 Slutzky의 정리와 CLT에서 따릅니다. $O_p(1)$

\sqrt{n} [\frac{1}{n} \sum X_{i}^{2} - σ^{2}] \overset{D}{\to} N (0, τ^{2})

$\sqrt{n} \left[ \frac{1}{n} \sum X_i^2 - \sigma^2 \right] \xrightarrow{D} \mathcal{N} \left(0, \tau^2 \right)$

여기서 . 그리고 그렇게 할 것입니다. $\tau^2 = Var \left\{ X^2\right\} = \mathbb{E} \left(X^4 \right) - \left( \mathbb{E} \left(X^2\right) \right)^2$

— 존
소스

이것은 확실히 더 경제적입니다. 그러나 가정 이 얼마나 무해한 지 다시 생각해보십시오 . 예를 들어 Bernoulli ( ) 샘플 의 경우는 제외하고 답변 끝에 언급했듯이 이러한 샘플에 대해서는이 점근 적 결과가 유지되지 않습니다.

E (X) = 0

$E(X) =0$

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos 2016

@AlecosPapadopoulos 실제로 데이터는 항상 중앙에 위치 할 수 있습니까? 나는 이 변수로 작업 할 수 있습니다. 베르누이 사건의 경우, 우리가 그렇게하지 못하게 막는 것이 있습니까?

\sum_{i = 1}^{n} {(X_{i} - μ - (\bar{X} - μ))}^{2} = \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$\sum_{i=1}^n \left(X_i - \mu - ( \bar{X}-\mu) \right)^2 = \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

— JohnK

@AlecosPapadopoulos 아 그래, 문제가 보인다.

— JohnK

나는 그 문제에 대해 작은 글을 썼다. 내 블로그에 올릴 때가되었다고 생각한다. 읽고 싶은 경우에 알려 드리겠습니다. 이 경우 표본 분산의 점근 분포는 흥미롭고 표본 표준 편차의 점근 분포는 훨씬 더 흥미 롭습니다. 이 결과는 이분법 랜덤 변수에 대해 유지됩니다.

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos 2016

멍청한 질문이지만 가 정상이 아닌 경우 가 부수적 이라고 어떻게 가정 할 수 있습니까? 또는 항상 부수적이지만 (평균적인 매개 변수화는 추측하지만) 표본 평균이 Basu의 정리에 의해 충분한 통계량 (즉, 정규 분포) 일 때만 표본 평균과 독립적입니까?

S^{2}

$S^2$

X_{i}

$X_i$

S^{2}

$S^2$

— Chill2Macht 17

Alecos 와 JohnK 의 탁월한 답변은 이미 결과를 도출했지만 표본 분산의 점근 적 분포에 대해 다른 점에 주목하고 싶습니다.

정규 분포를 사용하여 표현 된 점근 적 결과를 보는 것이 일반적이며 이론 정리에 유용합니다. 그러나 실제로는 표본 통계량에 대한 점근 분포의 목적은 이 클 때 근사 분포를 얻을 수 있다는 것 입니다. 많은 분포가 동일한 점근 형태를 갖기 때문에 큰 표본 근사에 대해 선택할 수있는 항목이 많이 있습니다. 표본 분산의 경우 큰 대한 우수한 근사 분포 는 다음과 같이 나타납니다. $n$ $n$

\frac{{에스}_{엔}^{2}}{σ^{2}} \sim \frac{카이-제곱 (df = 디 {에프}_{엔})}{디 {에프}_{엔}},

$\frac{S_n^2}{\sigma^2} \sim \frac{\text{Chi-Sq}(\text{df} = DF_n)}{DF_n},$

여기서 및 는 첨도 매개 변수입니다. 이 분포는 정리에서 파생 된 정규 근사와 거의 동일합니다 (자유도가 무한대 인 경향에 따라 카이 제곱 분포가 정규로 수렴 됨). 이 동등성에도 불구하고이 근사값에는 근사 분포에 원하는 다양한 속성이 있습니다. $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2) = 2n / ( \kappa - (n-3)/(n-1))$ $\kappa = \mu_4 / \sigma^4$

정리에서 직접 도출 된 정규 근사와 달리이 분포는 관심 통계를 올바르게 지원합니다. 표본 분산은 음수가 아니고이 분포는 음이 아닌지지를 갖습니다.
기본 값이 정규 분포 인 경우이 근사값은 실제로 정확한 샘플링 분포입니다. (이 경우 우리는 이 , 이것은 대부분의 텍스트에서 사용되는 표준 형식입니다.) 따라서 중요한 특수한 경우에도 정확한 결과를 구성하지만 더 일반적인 경우. $\kappa = 3$ $DF_n = n-1$

위 결과의 도출 : 표본 평균 및 분산에 대한 대략적인 분포 결과는 O'Neill (2014) 에서 상세히 논의되었으며 ,이 논문은 현재 근사 분포를 포함하여 많은 결과의 도출을 제공합니다.

이 파생은 질문의 제한 결과에서 시작됩니다.

\sqrt{엔} ({에스}_{엔}^{2} - σ^{2}) \sim 엔 (0, σ^{4} (κ - 1)) .

$\sqrt{n} (S_n^2 - \sigma^2) \sim \text{N}(0, \sigma^4 (\kappa - 1)).$

이 결과를 다시 정렬하면 근사값을 얻습니다.

\frac{{에스}_{엔}^{2}}{σ^{2}} \sim 엔 (1, \frac{κ - 1}{엔}) .

$\frac{S_n^2}{\sigma^2} \sim \text{N} \Big( 1, \frac{\kappa - 1}{n} \Big).$

카이 제곱 분포는 무정형 정규이므로 는 다음과 같습니다. $DF \rightarrow \infty$

\frac{카이-제곱 (디 에프)}{디 에프} \to \frac{1}{디 에프} 엔 (디 에프, 2 디 에프) = 엔 (1, \frac{2}{디 에프}) .

$\frac{\text{Chi-Sq}(DF)}{DF} \rightarrow \frac{1}{DF} \text{N} ( DF, 2DF ) = \text{N} \Big( 1, \frac{2}{DF} \Big).$

촬영 (상기 식을 산출) 부여합니다 카이 제곱 분포 점근하는 보장하지만 것을 제한 정리의 정규 근사값과 같습니다. $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2)$ $DF_n \rightarrow 2n / (\kappa - 1)$

— 복원 모니카
소스

실험적으로 흥미로운 질문 중 하나는이 두 가지 점근선 결과 중 다양한 기본 데이터 분포 하에서 유한 샘플 사례에서 더 잘 작동한다는 것입니다.

— lzstat

예, 저는 이것이 매우 흥미롭고 출판 가능한 시뮬레이션 연구라고 생각합니다. 본 공식은 표본 분산의 분산에 대한 첨도 보정을 기반으로하기 때문에, mesokurtic에서 멀리 떨어진 첨도 모수를 갖는 기본 분포 (예 : 첨도- 수정이 가장 중요합니다). 첨도는 표본에서 추정 할 필요가 있기 때문에 전반적인 성능이 크게 개선 될시기에 대해서는 미심쩍은 질문입니다.

— 복원 Monica Monica