때 평균에 대한 신뢰 구간의 근사 오차

15

하자 의 값을 가지고 IID 확률 변수의 계열 수 평균 갖는 및 분산 . 알고있을 때마다 사용하여 평균에 대한 간단한 신뢰 구간은 $\{X_i\}_{i=1}^n$ $[0,1]$ $\mu$ $\sigma^2$ $\sigma$

P (| \bar{X} - μ | > ε) \leq \frac{σ^{2}}{n ε^{2}} \leq \frac{1}{n ε^{2}} (1) .

$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$

또한 $\frac{\bar X- \mu}{\sigma/\sqrt{n}}$ 는 표준 정규 확률 변수로 무 증분 분포되기 때문에 정규 분포는 때때로 근사 신뢰 구간을 "구축"하는 데 사용됩니다.

객관식 답변 통계 시험에서, 때마다 대신이 근사값을 사용해야했습니다 . 근사 오차가 정량화되지 않았기 때문에 항상 (당신이 상상할 수있는 것 이상)이 매우 불편하다고 느꼈습니다. $(1)$ $n \geq 30$

왜 대신 정규 근사법을 사용 $(1)$ 합니까?
나는 다시 맹목적으로 규칙 적용하고 싶지 않습니다 $n \geq 30$ . 거부하고 적절한 대안을 제공 할 수있는 좋은 참고 자료가 있습니까? ( $(1)$ 은 내가 적절한 대안으로 생각하는 예입니다.)

여기서, $\sigma$ 와 $E[ |X|^3]$ 은 알려져 있지 않지만 쉽게 묶여 있습니다.

내 질문은 특히 신뢰 구간에 대한 참조 요청 이므로 여기 와 여기에 부분 복제로 제안 된 질문과는 다릅니다 . 답변이 없습니다.

— 올리비에
소스

2

고전적인 참조에서 찾은 근사값을 개선하고 가 에 있다는 사실을 이용 하여 순간에 대한 정보를 알 수 있습니다. 마법의 도구는 베리-가시 정리가 될 것이라고 믿습니다!

X_{i}

$X_i$

(0, 1)

$(0, 1)$

— Yves

1

이러한 경계를 사용하면 분산은 0.25보다 클 수 없으며 1보다 훨씬 낫지 않습니까?

— carlo

3

정규 근사법을 사용해야하는 이유는 무엇입니까?

적은 양보다 더 많은 정보를 사용하는 것이 항상 낫다고 말하는 것만 큼 간단합니다. 방정식 (1)은 체비 쇼프 정리를 사용 합니다. 분포 형태에 대한 정보를 사용하지 않는 방법, 즉 주어진 분산을 갖는 분포에 대해 작동하는 방법에 유의하십시오. 따라서 분포 모양에 대한 정보를 사용하면 더 나은 근사값을 얻어야합니다. 분포가 가우시안임을 알고 있다면이 지식을 사용하여 더 나은 추정치를 얻을 수 있습니다.

이미 중심 한계 정리를 적용하고 있으므로 가우스 근사값을 사용하지 않는 이유는 무엇입니까? 이 추정치는 추가 정보 인 형태에 대한 지식을 기반으로하기 때문에 실제로는 더 우수하거나 더 엄격 해집니다.

경험 법칙 30은 신화이며, 이는 편견의 혜택을받습니다 . 한 책에서 다른 책으로 계속 복사됩니다. 1950 년대의 논문에서이 규칙을 제안하는 참고 문헌을 찾았습니다. 내가 기억 하듯이 그것은 확실한 증거가 아니었다. 일종의 경험적 연구였습니다. 기본적으로 그것이 사용되는 유일한 이유는 일종의 작품이기 때문입니다. 자주 위반하는 것을 보지 못합니다.

업데이트 Zachary R. Smith와 Craig S. Wells의 " 중앙 한계 정리 및 표본 크기 "로 논문을 찾아보십시오 . 그들은 다른 종류의 분포에 대한 CLT에 대한 수렴에 대한 경험적 연구를 제시한다. 매직 넘버 30은 물론 많은 경우에 작동하지 않습니다.

— 악사 칼
소스

+1 합리적인 설명. 그러나 옳지 않은 정보를 사용할 위험이 없습니까? CLT는 고정 대한 분포에 대해 아무 말도하지 않습니다 .

\bar{X}

$\bar X$

n

$n$

— 올리비에

맞습니다, CLT는 유한 샘플의 분포에 대해 아무 말도하지 않지만 무정형 방정식은 없습니다. 그러나 명백히 유용한 정보를 가지고 있기 때문에 제한적인 관계가 모든 곳에서 사용됩니다. 체비 쇼프의 문제는 너무 넓어서 교실 밖에서는 거의 사용되지 않는다는 것입니다. 예를 들어, 하나의 표준 편차에 대한 확률은 – 거의 실용적인 정보

< 1 / k^{2} = 1

$<1/k^2=1$

— Aksakal

그러나 가 같은 확률로 0 또는 1의 값을 취하는 경우 Chebyshev의 적용은 날카 롭습니다. ;) 문제는 표본 평균에 적용된 체비 쇼프가 이 자라 면서 날카롭게 유지되지 않는다는 것 입니다.

X

$X$

n

$n$

— Olivier

나는 스미스와 웰스의 논문에 대해 몰라, 나는 R에서 그것을 재생하려고 시도하고 그들의 결론을 회복하지 못했습니다 ...

— Alex Nelson

9

체비 쇼프 부등식을 사용하여 실제 값에 대한 구간을 얻는 문제 는 확률에 대한 하한값 만 제공한다는 것 입니다. 신뢰 구간. 우리는

P (| \bar{X} - μ | > ε) = 1 - P (\bar{X} - ε \leq μ \leq \bar{X} + ε)

$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$

⟹ P (\bar{X} - ε \leq μ \leq \bar{X} + ε) \geq 1 - \frac{1}{n ε^{2}}

$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$

우리는 표본 크기에 따라 너무 많이 줄이면 "확률이 0보다 크다"는 사소한 답을 얻을 수 있음을 알 수 있습니다. $\varepsilon$

그 외에도에서, 우리가이 방법에서 얻을하는 형태 "의 결론이다"확률 에 빠지는는 것입니다 보다 크거나 ... " $\mu$ $[\bar X \pm \varepsilon]$

그러나 우리가 이것에 능숙하다고 가정하고 편안하게 할 수있는 최소 확률을 으로 표시합시다. 그래서 우리는 원한다 $p_{min}$

1 - \frac{1}{n ε^{2}} = p_{m i n} ⟹ ε = \sqrt{\frac{1}{(1 - p_{m i n}) n}}

$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$

표본 크기가 작고 원하는 최소 확률이 높으면 불만족스러운 신뢰 구간을 제공 할 수 있습니다. 예를 들어 및 경우 이됩니다. 예를 들어 묶인 OP로 처리 된 변수의 경우 너무 커서 유용하지 않습니다. $p_{min} =0.9$ $n=100$ $\varepsilon \approx .316$ $[0,1]$

그러나이 방법은 유효하고 배포가 필요 없으므로 유용 할 수있는 사례가있을 수 있습니다.

또 다른 답변에서 언급 된 Vysochanskij–Petunin 불평등 을 확인하고 싶을 수도 있습니다.이 불평등 은 지속적인 단봉 분포를 유지하고 Chebyshev의 불평등을 개선합니다.

— 알레 코스 파파도풀로스
소스

나는 Chebychev의 문제가 확률의 하한을 제공한다는 데 동의하지 않습니다. 분포가없는 환경에서는 하한값이 가장 좋습니다. 중요한 질문은 다음과 같습니다. 체비 쇼프가 선명합니까? Chebychev CI의 길이는 고정 수준

대해 체계적으로 과대 평가 되었습니까? 나는 특정 관점에서 내 게시물에 이것을 대답했습니다. 그러나 표본 평균에 대한 Chebychev가 항상 더 강한 의미로 날카 로워지지 않는지 이해하려고 노력하고 있습니다.

α

$\alpha$

— Olivier

CI의 길이는 예측할 수 없습니다. 알 수없는 길이가 하나도 없기 때문에 여기서 "과대 평가"라는 단어를 사용하여 무슨 뜻인지 잘 모르겠습니다. 다른 방법은 다른 CI를 제공하며, 물론 우리는이를 평가하고 평가할 수 있습니다.

— Alecos Papadopoulos

과대 평가는 잘못된 단어 선택이었습니다. 지적 해 주셔서 감사합니다. "체계적으로 과대 평가 된 길이"는 CI를 얻는 방법이 항상 필요한 것보다 더 큰 것을 산출한다는 것을 의미했습니다.

— Olivier

1

@Olivier 일반적으로, 체비 쇼프 불평등은 느슨한 불평등으로 알려져 있으며, 적용되는 작업보다는 이론적 도출과 증명의 도구로 더 많이 사용됩니다.

— Alecos Papadopoulos 2012

2

@Olivier "일반적으로 말하기"는 귀하의 자격을 다루고 있습니다.

— Alecos Papadopoulos 2016

7

짧은 대답은 그것이 꽤 나빠질 수 있지만 샘플링 분포의 한쪽 또는 양쪽 꼬리가 실제로 뚱뚱한 경우에만 가능합니다 .

이 R 코드는 백만 세트의 30 감마 분포 변수를 생성하고 그 평균을 취합니다. 평균의 샘플링 분포가 어떻게 보이는지 파악하는 데 사용할 수 있습니다. 정규 근사가 의도 한대로 작동하면 결과는 평균 1과 분산으로 대략 정규이어야합니다 1/(30 * shape).

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

경우 shape1.0 감마 분포가된다 지수 분포 꽤 비정규이다. 그럼에도 불구하고 비 가우시안 부분은 대부분 평균을 얻으므로 가우시안 근사는 그렇게 나쁘지 않습니다.

분명히 약간의 편견이 있으며 가능하면이를 피하는 것이 좋습니다. 그러나 솔직히 그 정도의 편견은 아마도 전형적인 연구가 직면 한 가장 큰 문제는 아닐 것입니다.

즉, 상황이 훨씬 나빠질 수 있습니다. 로 f(0.01)히스토그램은 다음과 같습니다.

평균화하기 전에 30 개의 샘플링 된 데이터 포인트를 로그 변환하면 많은 도움이됩니다.

일반적으로 긴 꼬리 (분포의 한쪽 또는 양쪽에)가있는 분포는 가우스 근사가 신뢰할 수있게되기 전에 가장 많은 표본이 필요합니다. 이도 있습니다 병적 인 경우 작업에 가우스 근사치에 대한 충분한 데이터가 없을 그대로 않습니다 만, 샘플링 분포를 시작하기 위해 잘 정의 된 평균 또는 분산이 없기 때문에 당신은 아마 (이 경우에 더 심각한 문제가 있습니다 와).

— 데이비드 제이 해리스
소스

나는 실험이 매우 적절하고 흥미 롭다는 것을 안다. 그러나 문제의 요점을 다루지 않기 때문에 이것을 대답으로 사용하지 않을 것입니다.

— Olivier

1

요점은 무엇입니까?

— David J. Harris

귀하의 답변은 건전한 통계 실습에 대한 엄격한 근거를 제공하지 않습니다. 예제 만 제공합니다. 또한 내가 생각하는 임의의 변수는 제한되어 최악의 경우를 크게 변경합니다.

— Olivier

@Glen_b :이 답변은 수정 된 버전의 질문과 관련이 없습니다. 여기에 그대로 두어야합니까 아니면 다른 것을 추천 하시겠습니까?

— David J. Harris

3

체비 쇼프 신뢰 구간 문제

Carlo가 언급했듯이 . 이것은따릅니다. 따라서 대한 신뢰 구간주어진다 $\sigma^2 \le \frac{1}{4}$ $\text{Var}(X) \le \mu(1-\mu)$ $\mu$ 문제는 불평등이 어떤 의미에서이 커지면상당히 느슨하다는 것입니다. Hoeffding의 경계에 의해 개선되고 아래에 표시됩니다. 그러나 우리는 또한Yves가 지적한Berry-Esseen 정리를사용하는 것이 얼마나 나쁜지를 보여줄 수 있습니다. 분산을보자

P (| \bar{X} - μ | \geq ε) \leq \frac{1}{4 n ε^{2}} .

$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$

n

$n$

X_{i}

$X_i$

최악의 경우

. 정리는

\frac{1}{4}

$\tfrac{1}{4}$

표준 정규 분포의 생존 함수이다. 특히,

인 경우

(Scipy에 따라)을 얻으므로 본질적으로

P (| \bar{X} - μ | \geq \frac{ε}{2 \sqrt{n}}) \leq 2 SF (ε) + \frac{8}{\sqrt{n}},

$P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$

SF

$\text{SF}$

ε = 16

$\varepsilon = 16$

SF (16) \approx e^{- 58}

$\text{SF}(16) \approx e^{-58}$

체비 쇼프 부등식은

의미하지만

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{8}{\sqrt{n}} + 0, (*)

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$

주어진 범위를 최적화하려고 시도하지 않았으므로여기서 결과는 단지 개념적 관심입니다.

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{1}{256} .

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$

(*)

$(*)$

신뢰 구간의 길이 비교

고려 - 레벨 신뢰 구간의 길이 와 정상 근사 (하여 얻어진 $(1-\alpha)$ $\ell_Z(\alpha, n)$ $\ell_C(\alpha, n)$ $\sigma = \tfrac{1}{2}$ $\ell_C(\alpha, n)$ $\ell_Z(\alpha, n)$ $n$ $n$

ℓ_{C} (α, n) = κ (α) ℓ_{Z} (α, n), κ (α) = {(ISF (\frac{α}{2}) \sqrt{α})}^{- 1},

$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$

ISF

$\text{ISF}$

$\hskip 1in$

$95\%$ $2.3$

Hoeffding의 바운드 사용

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}} .

$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$

(1 - α)

$(1-\alpha)$

μ

$\mu$

(\bar{X} - ε, \bar{X} + ε), ε = \sqrt{\frac{- \ln \frac{α}{2}}{2 n}},

$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$

ℓ_{H} (α, n) = 2 ε

$\ell_H (\alpha, n) = 2\varepsilon$

ℓ_{C}

$\ell_C$

σ = 1 / 2

$\sigma = 1/2$

ℓ_{Z}

$\ell_Z$

ℓ_{H}

$\ell_H$

α = 0.05

$\alpha = 0.05$

$\hskip 0.5in$

— 18 회전
소스

P (\bar{X} - μ \geq ε) \leq e^{- 2 n ε^{2}}

$P(\bar{X}-\mu \ge \varepsilon) \le e^{-2 n \varepsilon^2}$

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}};

$P(|\bar{X}-\mu| \ge \varepsilon) \le 2 e^{-2 n \varepsilon^2} ;$

α

$\alpha$

1 - α,

$1-\alpha,$

마지막으로 더 중요한 : 결과가 믿을 수 없다는 것을 알았으므로 결과를 R로 복제하려고 시도했지만 완전히 반대의 결과를 얻었습니다. 정상 근사치가 나에게 작은 신뢰 구간을줍니다! 이것은 내가 사용한 코드입니다.

curve(sqrt(-log(.025)/2/x), to= 100, col= 'red', xlab= 'n', ylab= 'half interval') #Hoeffding ; curve(qnorm(.975, 0, .5/sqrt(x)), to= 100, add= T, col= 'darkgreen') #normal approximation

— carlo

0

숫자 30부터 시작해 봅시다. 누구나 말하듯이 경험 법칙입니다. 그러나 데이터에 더 적합한 숫자를 어떻게 찾을 수 있습니까? 실제로는 왜도의 문제입니다. 가장 이상한 분포조차도 대칭적이고 연속적이며 치우친 데이터가 훨씬 느리면 정상으로 빠르게 수렴됩니다. 분산이 9보다 클 때 이항 분포가 정상적으로 정규화 될 수 있다는 것을 기억합니다. 이 예에서는 불연속 분포에도 연속성을 시뮬레이션하기 위해 많은 숫자가 필요하다는 문제가 있다고 생각하지만 다음과 같이 생각하십시오. 대칭 이항 분포는 p = 0.1 인 경우 n이 36이어야합니다. 최대 100 개 (다양한 변형은 많은 도움이 될 것입니다)!

가우스 근사를 제거하는 대신 분산 만 사용하려면 Chebichev에 비해 Vysochanskij–Petunin 불평등을 고려하십시오. 평균의 단변 분포를 가정해야하지만 이것은 표본 크기가 매우 안전합니다. 2보다

— 카를로
소스

"Vysochanskij–Petunin inequality"에 대한 참조를 추가 할 수 있습니까? 들어 본 적이 없어!

— kjetil b halvorsen

wikipedia docet

— carlo

비대칭 성으로 수렴 속도를 표현할 수 있습니까? 왜 샘플 크기가 2라고해서 단일성에 충분합니까? Vysochanskij–Petunin 불평등이 표본 크기를 두 배 또는 세 배로 적용해야하는 경우 Chebychev에 비해 어떻게 향상됩니까?

— Olivier

빠른 Google 검색을 수행 한 결과 이항 분포가 실제로 왜곡 된 데이터에 대해 서로 다른 표본 크기 요구를 설명하는 데 사용되는 것을 알았지 만 찾지 못했습니다. "왜곡 성 측면에서 허용되는 수렴 률이없는 것 같습니다. ".

— carlo

Vysochanskij–Petunin 불평등은 Chebychev의 것보다 더 효율적이므로 더 큰 표본이 필요하지 않지만 일부 사용 제한이 있습니다. 허용됩니다). 정규성을 가정하여 다른 것을 채택하는 것은 이상하게 보일 수 있지만 데이터가 이산 적이 지 않은 경우 표본 평균은 매우 작은 표본으로도 로컬 모드를 제거해야합니다. 사실은 평균이 종 분포를 많이 가지고 있으며, 기울어 지거나 꼬리가 뚱뚱 할 수 있다면 단 하나의 모드 만 갖게됩니다.

— carlo