는 어디에 있습니까

36

다음과 같은 중앙 제한 정리의 매우 간단한 버전

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$ 는 Lindeberg–Lévy CLT입니다. 나는 왜

가 있는지 이해하지 못한다

\sqrt{n}

$\sqrt{n}$ 왼쪽의

. 그리고 Lyapunov CLT는 말합니다

\frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$ 그러나 왜

\sqrt{s_{n}}

$\sqrt{s_n}$ ? 누구든지 이러한 요소가 무엇인지 말해 주겠습니까?

\sqrt{n}

$\sqrt{n}$ 과

\frac{1}{s_{n}}

$\frac{1}{s_n}$ ? 우리는 어떻게 정리에서 그것들을 얻습니까?

central-limit-theorem intuition

— 비행 돼지
소스

3

이것은 stats.stackexchange.com/questions/3734에 설명되어 있습니다 . 그 대답은 "직관"을 요구하기 때문에 길다. "그러나이 간단한 근사법은 de Moivre가 원래 보편적 인 제한 분포가 있고 로그가 2 차 함수이고 적절한 스케일 팩터

s_{n}

$s_n$ 이

비례해야 한다는 것을 어떻게 예상했는지 암시합니다.

\sqrt{n}

$\sqrt{n}$ .... "

— whuber

1

직관적으로 모든

σ_{i} = σ

$\sigma_i=\sigma$ 이면

s_{n} = \sqrt{\sum σ_{i}^{2}} = \sqrt{n} σ

$s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$ 와 두 번째 줄은 첫 번째 줄부터옵니다 :

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$ 를

나눕니다.

σ = \frac{s_{n}}{\sqrt{n}}

$\sigma = \frac{s_n}{\sqrt{n}}$

\frac{\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ)}{\frac{s_{n}}{\sqrt{n}}} = \frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ (물론 Lyapunov 상태, 모든 조합 $\sigma_i$ 은 또 다른 질문입니다)

— Sextus Empiricus

33

좋은 질문 (+1) !!

독립 랜덤 변수 와 , 및 . 따라서 의 분산 은 $X$ $Y$ $Var(X+Y) = Var(X) + Var(Y)$ $Var(a\cdot X) = a^2 \cdot Var(X)$ $\sum_{i=1}^n X_i$ 이고 의 분산 $\sum_{i=1}^n \sigma^2 = n\sigma^2$ 는입니다. $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ $n\sigma^2 / n^2 = \sigma^2/n$

이것은 분산을 위한 것 입니다. 랜덤 변수를 표준화하려면 표준 편차로 나눕니다. 아시다시피 의 예상 값 은 이므로 변수는 $\bar{X}$ $\mu$

는 값 0과 분산 1을 예상했습니다. 따라서 가우스 경향이있는 경우 표준 가우스

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$

. 첫 번째 방정식의 공식은 동일합니다. 왼쪽에

를곱하여분산을

설정합니다.

N (0, 1)

$\mathcal{N}(0,\;1)$

σ

$\sigma$

σ^{2}

$\sigma^2$

두 번째 요점과 관련하여 위에서 설명한 방정식은 아닌 로 나눠야한다고 설명합니다. $\sigma$ 왜 사용을 설명하는 방정식을 표준화하기(의 추정하지 $\sqrt{\sigma}$ $s_n$ $\sigma)$ . $\sqrt{s_n}$

추가 : @whuber는 스케일링 의 이유 를 논의 할 것을 제안합니다. . 그는거기에서 해냈지만 답이 너무 길기 때문에 나는 그의 논거의 본질을 포착하려고 노력할 것입니다. $\sqrt{n}$

당신은 많은 수의 추가하는 경우 + 1과 -1의의를, 당신은 합이 될 확률에 근접 할 수 초등학교 계산에 의해합니다. 이 확률의 로그에 비례 . 따라서 이 커질 때 위의 확률이 상수로 수렴 되도록하려면 에서 정규화 인자를 사용해야합니다 $n$ $j$ $-j^2/n$ $n$ . $O(\sqrt{n})$

최신 (post de Moivre) 수학적 도구를 사용하여, 검색된 확률이

P (j) = \frac{(\binom{n}{n / 2 + j})}{2^{n}} = \frac{n!}{2^{n} (n / 2 + j)! (n / 2 - j)!}

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

우리는 스털링 공식에 의해 대략적으로

P (j) \approx \frac{n^{n} e^{n / 2 + j} e^{n / 2 - j}}{2^{n} e^{n} (n / 2 + j)^{n / 2 + j} (n / 2 - j)^{n / 2 - j}} = {(\frac{1}{1 + 2 j / n})}^{n + j} {(\frac{1}{1 - 2 j / n})}^{n - j} .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

\log (P (j)) = - (n + j) \log (1 + 2 j / n) - (n - j) \log (1 - 2 j / n) \sim - 2 j (n + j) / n + 2 j (n - j) / n \propto - j^{2} / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
소스

Michael C.와 guy의 이전 답변에 대한 나의 의견을 참조하십시오.

— whuber

첫 번째 방정식 (LL CLT) s / b

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, 1)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ^{2}

$\sigma^2$

평균과 분산 (표준 편차가 아닌)으로 가우시안을 매개 변수화하면 OP의 공식이 정확하다고 생각합니다.

— gui11aume

1

Ahh .. 곱하면 에 의해 우리는 (영업으로 표시 한 것을 얻을 취소) : 즉 . 그러나 VAR (aX) = a ^ 2Var (X) 여기서이 경우 a = 이고 Var (X)는 1이므로 분포는 .

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ} \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ

$\sigma$

σ

$\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ^{2}

$\sigma^2$

N (0, σ^{2})

$\mathcal{N}(0,\;\sigma^2)$

— B_Miner

Gui, 너무 늦지 않으면 나는 이것이 올바른지 확인하고 싶었다. 우리가 라고 가정하면

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} (\bar{X} - μ) \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ

$\sigma$

\sqrt{n} (\bar{X} - μ)

$\sqrt{n} ({\bar{X} - \mu})$

σ

$\sigma$

8

랜덤 변수의 합의 분포를 제한 할 수있는 분포의 종류에 대한 좋은 이론이 있습니다. 좋은 자료는 Petrov 의 다음 책 입니다. 개인적으로 엄청나게 즐겼습니다.

\frac{1}{a_{n}} \sum_{i = 1}^{n} X_{n} - b_{n}, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

X_{i}

$X_i$

당시에는 많은 수학이 진행되고 있으며,이 이론은 한계에서 일어나는 일을 완전히 특징 짓는 몇 가지 이론으로 귀결됩니다. 그러한 이론 중 하나는 Feller 때문입니다.

$\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max_{1 \leq k \leq n} P (| X_{k} | \geq ε a_{n}) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

과

sup_{x} | P (a_{n}^{- 1} \sum_{k = 1}^{n} X_{k} < x) - Φ (x) | \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

필요하고 충분하다

\sum_{k = 1}^{n} \int_{| x | \geq ε a_{n}} d V_{k} (x) \to 0 for every fixed ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a_{n}^{- 2} \sum_{k = 1}^{n} (\int_{| x | < a_{n}} x^{2} d V_{k} (x) - {(\int_{| x | < a_{n}} x d V_{k} (x))}^{2}) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

과

a_{n}^{- 1} \sum_{k = 1}^{n} \int_{| x | < a_{n}} x d V_{k} (x) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

이 정리는 모양에 대한 아이디어를 제공합니다 . $a_n$

이 책의 일반적인 이론은 규범 상수가 어떤 식 으로든 제한되는 방식으로 구성되었지만 필요하고 충분한 조건 을 제공하는 최종 이론 은 이외의 상수를 규명 할 여지를 남기지 않습니다 . $\sqrt{n}$

— mpiktas
소스

4

s 은 표본 평균에 대한 표본 표준 편차를 나타냅니다. s 는 표본 평균에 대한 표본 분산이며 S / n 과 같습니다 . 여기서 S 는 모집단 분산의 표본 추정치입니다. s = S / √n이므로 √n이 첫 번째 공식에서 어떻게 나타나는지 설명합니다. 한계가 있다면 분모에 σ가있을 것입니다. $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N (0,1)이지만 한계는 N (0, σ )로 지정됩니다. S의 때문에 이 한계 취출 σ에 secnd 식에서 이용 σ 일관된 추정치이다. $^2$ $_n$

— 마이클 체 르닉
소스

질문의 다른 (더 기본적이고 중요한) 부분은 어떻습니까? 왜 이며 다른 분산 측정 기준은 아닌가?

s_{n}

$s_n$

— whuber

@whuber 그것은 토론을위한 것 일지 모르지만 그것은 질문의 일부가 아닙니다. OP는 방금 s 및 √n이 CLT의 수식에 나타나는 이유를 알고 싶었습니다 . 물론 은 σ와 일치하고 CLT σ의 형태로 제거되기 때문에 존재합니다.

_{n}

$_n$

_{n}

$_n$

— Michael Chernick

1

나에게 이 " 대해 일관성이 있기 때문에"존재 것은 분명하지 않다 . 을 사용하여 극단적 인 값의 통계를 정상화하는 데 사용 하지 않는 이유는 무엇 입니까? 간단하고 자명 한 것을 놓치고 있습니까? 그리고 OP를 반향하려면 사용하지 마십시오. 일치합니다 !

s_{n}

$s_n$

σ

$\sigma$

s_{n}

$s_n$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{σ}

$\sqrt{\sigma}$

— whuber

언급 된 정리는 N (0,1)에 수렴하므로 σ를 알고 사용하거나 Slutsky의 정리에 의해 작동하는 일관된 추정치를 사용해야합니다. 불분명 했습니까?

— Michael Chernick

나는 당신이 명확하지 않다고 생각합니다. 중요한 점이 빠져 있다고 생각합니다. 결국 많은 분포에서 대신 IQR을 사용하여 제한 정규 분포를 얻을 수 있지만 결과는 깔끔하지 않습니다 (제한 분포의 SD는 시작하는 분포에 따라 다릅니다). 나는 이것이 부르고 설명 할 가치가 있다고 제안하고 있습니다. 40 년 동안 개발 한 직관이없는 사람에게는 그들이 직면 한 모든 분포를 표준화하는 것은 분명하지 않을 것입니다!

s_{n}

$s_n$

— whuber

2

직관적으로, 일부 대해 이면 은 대략 와 같습니다. 나는 그것이 일반적으로 필요하다고 생각하지 않지만 꽤 합리적인 기대처럼 보입니다. 첫 번째 표현식에서 의 이유 는 의 분산이 과 같이 이되고 이 분산을 팽창시켜 표현식이 단지 동일한 분산을 갖기 때문입니다. . 두 번째 표현식에서 이라는 용어 는 $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ $\sqrt n$ $\bar X_n - \mu$ $0$ $\frac 1 n$ $\sqrt n$ $\sigma^2$ $s_n$ $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ 분자의 분산은 과 같이 커지 므로 전체 표현식의 분산은 상수입니다 ( 이 경우 ). $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

본질적으로, 우리는 의 분포와 함께 "흥미로운"무언가가 일어나고 있다는 것을 알고 있지만, 우리가 올바르게 중심을 하지 않으면 그것을 볼 수 없습니다. 나는 이것이 때때로 현미경을 조정할 필요가 있다고 들었습니다. 만약 우리가 의해 를 폭파시키지 않으면 우리는 약한 법칙에 의해 을 갖게 됩니다; CLT만큼 유익하지는 않지만 그 자체의 흥미로운 결과. 이 지배 하는 인자 을 팽창 , 여전히 을 얻는 반면, 어떤 인자 은 을 지배합니다 $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ $\sqrt n$ 제공 . 그것은 밝혀 ; 거의 확실 융합에 대한 흥미 확대의 또 다른 수준이 상승을 제공하는 여기에 모든 집중 분포입니다 : 딱 맞는 배율 (주이 경우에 무슨 일이 일어나고 있는지 볼 수있을 것입니다 반복 로그의 법칙에 따라). $a_n(\bar X_n - \mu) \to \infty$ $\sqrt n$

— 사람
소스

4

먼저 해결해야 할보다 근본적인 문제는 SD가 분산 측정에 사용되는 이유입니다. 왜 절대 중앙 의 다른 값에 대한 순간 ? 아니면 왜 IQR이나 그 친척이 아닌가? 일단 대답하면, 공분산의 간단한 속성은 @ Gui11aume이 최근에 설명했듯이 의존성을 즉시 제공합니다 .

k^{th}

$k^\text{th}$

k

$k$

\sqrt{n}

$\sqrt{n}$

— whuber

1

@ whuber 동의합니다. 이것이 휴리스틱으로 제시된 이유입니다. 나는 그것을 듣고 싶어하지만 간단한 설명을 할 수 있는지 확실하지 않습니다. 저에게 "제곱 항이 평균을 빼면 특성 함수의 Taylor 확장에 관련된 용어이기 때문에"더 간단하고 설명 가능한 이유가 있는지 확실하지 않습니다.

— guy