필요한 표본 크기, 분산 추정 정확도를 계산합니까?

17

배경

분포를 알 수없는 변수가 있습니다.

500 개의 샘플이 있지만 분산을 계산할 수있는 정밀도 (예 : 500의 샘플 크기가 충분 함)를 보여주고 싶습니다. 또한 정밀도 의 분산을 추정하는 데 필요한 최소 샘플 크기를 알고 싶습니다 $X\%$ .

질문

계산하는 방법

표본 크기가 인 경우 분산 추정치의 정밀도는 $n=500$ ? 의 $n=N$ ?
정밀도 분산을 추정하는 데 필요한 최소 샘플 수를 어떻게 계산할 수 $X$ 있습니까?

예

500 개의 샘플을 기반으로 한 매개 변수의 그림 1 밀도 추정치.

여기에 이미지 설명을 입력하십시오

그림 2 다음은 500 개 샘플의 하위 샘플을 사용하여 계산 한 y 축의 x 축 대 분산 추정치에 대한 샘플 크기의 플롯입니다. 아이디어는 n이 증가함에 따라 추정치가 실제 분산으로 수렴한다는 것입니다. .

그러나 대한 분산을 추정하는 데 사용 된 표본 $n \in [10,125,250,500]$ 이 서로 독립적이 아니거나 에서 분산을 계산하는 데 사용 된 표본이 아니기 때문에 추정값은 독립적으로 유효하지 않습니다 $n\in [20,40,80]$

여기에 이미지 설명을 입력하십시오

— 아베
소스

알 수없는 분포의 구성 요소가 Cauchy 분포 인 경우 분산은 정의되지 않습니다.

— Mike Anderson

@ 마이크 또는 실제로 다른 배포판의 수는 무한합니다.

— Glen_b-복귀 모니카

10

iid 랜덤 변수 $X_1, \dotsc, X_n$ 경우 분산 $s^2$ (분모가 분모)에 대한 편견 추정값은 다음 과 $n-1$ 같습니다.

V a r (s^{2}) = σ^{4} (\frac{2}{n - 1} + \frac{κ}{n})

$\mathrm{Var}(s^2) = \sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right)$

여기서 는 분포의 초과 첨도입니다 (참고 : Wikipedia ). 이제 분포의 첨도를 추정해야합니다. 때때로 ( Wikipedia ) 로 설명되는 수량을 사용할 수 있습니다 . $\kappa$ $\gamma_2$

γ_{2} = \frac{μ_{4}}{σ_{4}} - 3

$\gamma_2 = \frac{\mu_4}{\sigma_4} - 3$

나는 가정 것이다 당신이 사용하는 경우 에 대한 추정치로 및 에 대한 추정치로 당신이 합리적인 견적을 얻을, 나는 그것이 편견임을 보증 표시되지 않지만,. 합리적으로 500 데이터 포인트의 하위 집합 간의 분산과 일치하는지, 더 이상 걱정하지 않으면 :) $s$ $\sigma$ $\gamma_2$ $\kappa$ $\mathrm{Var}(s^2)$

— 에릭 P.
소스

편향되지 않은 분산 추정값에 대한 교과서 참조가 있습니까? 더 많은 컨텍스트를 위해 Wikipedia에서 어디로 가야할지 모르겠습니다.

— Abe

표준 텍스트 라이스 가 나와 있지 않으므로 페이지 번호를 확인할 수 없지만 페이지 번호가 확실합니다. Wikipedia는 Montgomery, DC 및 Runger, GC : 엔지니어 에 대한 통계 및 확률 적용 , 페이지 201 에서 언급해야한다고 제안합니다. John Wiley & Sons New York, 1994.

— Erik P.

도와 주셔서 감사합니다. 이 답변은 매우 유용했으며 분산 불확실성을 정량화하는 데 도움이되었습니다. 마지막 날 약 10 회 방정식을 적용했습니다. 도서관

계산

것은 쉽습니다 :

k a p p a

$kappa$ momentslibrary(moments); k <- kurtosis(x); n <- length(x); var(x)^2*(2/(n-1) + k/n)

— Abe

Rice 텍스트에서 페이지 번호를 찾은 적이 있습니까? Casella와 Berger에서 찾을 수 없습니다. 기본 참조를 알고 있으면 더 좋습니다. 위키 백과 페이지는 특히 참조되지 않습니다.

— Abe

흠 ... 밥도 공식이없는 것 같습니다. 나는 그것을 주시 할 것이지만,이 시점에서 나는 전혀 언급이 없다.

— Erik P.

15

분산을 배우는 것은 어렵습니다.

많은 경우에 분산을 잘 추정하기 위해서는 (아마 놀랍게도) 많은 수의 샘플이 필요합니다. 아래에서는 iid 일반 샘플의 "정규"사례에 대한 개발을 보여 드리겠습니다.

가정 , 독립적으로 랜덤 변수. 구간의 너비가 다음과 같이 분산에 대해 신뢰 구간을 찾습니다. $Y_i$ $i=1,\ldots,n$ $\mathcal{N}(\mu, \sigma^2)$ $100(1-\alpha)\%$ , 즉 폭이점 추정치의 가. 예를 들어, 인 경우 CI의 너비는 점 추정치의 절반입니다 (예 : $\rho s^2$ $100\rho \%$ $\rho = 1/2$ 이면 CI는 $s^2 = 10$ 너비가 5 인 . 점 추정치 주변의 비대칭도 주목하십시오. ( 는 분산에 대한 편견 추정치입니다.) $(8,\,13)$ $s^2$

대한 "The"(대신 "a") 신뢰 구간 은 $s^2$ 여기서

\frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (1 - α / 2)}} \leq σ^{2} \leq \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (α / 2)}},

$\frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \leq \sigma^2 \leq \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} \>,$

는자유도가

카이 제곱 분포의

분위수입니다. (이것은

χ_{(n - 1)}^{2 β}

$\chi_{(n-1)}^{2\;\beta}$

β

$\beta$

n - 1

$n-1$

가 가우스 설정에서 중추적 수량합니다.)

(n - 1) s^{2} / σ^{2}

$(n-1)s^2/\sigma^2$

너비를 최소화하여 그래서 우리는 대한 해결하기 위해 남아있는

L (n) = \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (α / 2)}} - \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (1 - α / 2)}} < ρ s^{2},

$L(n) = \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} < \rho s^2 \>,$

n

$n$ 되도록

(n - 1) (\frac{1}{χ_{(n - 1)}^{2 (α / 2)}} - \frac{1}{χ_{(n - 1)}^{2 (1 - α / 2)}}) < ρ .

$(n-1) \left(\frac{1}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{1}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \right) < \rho .$

99 % 신뢰 구간의 경우 대해 를 얻습니다. $n = 65$ 및 $\rho = 1$ 에 대한 . 이 마지막 경우는 간격을 산출한다 (정지를!) 10 % 분산의 점 추정 한 크게. $n = 5321$ $\rho = 0.1$

선택한 신뢰 수준이 99 % 미만인 경우 더 낮은 값에 대해 동일한 너비 간격을 얻습니다 . 그러나 은 여전히 생각했던 것보다 클 수 있습니다. $n$ $n$

표본 크기의 도표 비례 폭로그 로그 스케일에서 점근 적으로 선형으로 보이는 것을 보여줍니다. 다시 말해 권력 법과 같은 관계입니다. 우리는이 권력 법 관계의 힘을 (거의) 다음과 같이 추정 할 수 있습니다. $n$ $\rho$

\hat{α} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{- \log 10}{\log \frac{5231}{65}} \approx - 0.525,

$\hat{\alpha} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{-\log 10}{\log \frac{5231}{65}} \approx -0.525 ,$

불행히도 결정적으로 느립니다!

이것은 "정식"사례의 일종으로 계산 방법에 대한 느낌을줍니다. 플롯을 기준으로 데이터가 특히 정상적이지 않습니다. 특히, 눈에 띄는 왜곡이있는 것으로 보입니다.

그러나 이것은 무엇을 기대해야하는지에 대한 간단한 아이디어를 제공해야합니다. 위의 두 번째 질문에 답하려면 먼저 신뢰 수준을 먼저 수정해야합니다. 여기에서는 데모 목적으로 위의 개발에서 99 %로 설정했습니다.

— 추기경
소스

이것은 내 질문에 아주 좋은 대답입니다. 그러나

대한 계산을 따르더라도

위한 유닛 경우 정확하게 내게 분명하지 않다

용액 중의 퍼센트

에 대한

; 수행 "이 평균

미만이고

또는" "

미만

의

?

n | ρ

$n|\rho$

r h o

$rho$

n = 65

$n=65$

ρ < 1

$\rho<1$

ρ

$\rho$

1 \times s^{2}

$1\times s^2$

ρ

$\rho$

1 %

$1\%$

s^{2}

$s^2$

— 아베

@Abe, 프로세스에서 업데이트되고 희망적으로 설명되었습니다. 이전 버전에서는 특히 오타가 하나있었습니다. 미안합니다.

— 추기경

아주 좋은 대답이지만 @Erik에서 내 대답에 더 적합하기 때문에 @Erik에서 하나를 선택했습니다 (매개 변수가 정상적으로 분포되어 있지 않기 때문에).

— Abe

@ 아베 : 문제 없습니다. 이것이 체크 표시가있는 것입니다. 내 대답은 무엇보다 설명하기위한 것이 었습니다. 내가 말할 수있는 건, 않습니다 아직 주소가있는 유일한 하나가 될 것으로 보인다 모두 도 시나리오가 에릭의 윤곽에 수정 질문에, 그리고 (점근)입니다. (1 년 전 그에게 +1). :

— 추기경

당신은 정확하고 나는 지금 당신의 대답을 다시 방문하게 된 것을 기쁘게 생각합니다. @Erik의 일반 계산을 사용했지만 이제는 일반 솔루션의 가치를 봅니다. 또한 SD 대신 CI를 제시하면 분산의 분산이 무엇인지 이해하지 못하고

형식의 통계를 볼 때 청중이 혼란스러워하는 문제를 해결할 수 있습니다. 그래서

다른 통계적 요약이보다 명확하고 일관성있게한다. 그리고 비대칭 성을 보여주는 것이 도움이 될 것입니다.

s (s_{s})

$s(s_{s})$

s [l c l, u c l]

$s[lcl,ucl]$

— Abe

1

더 쉽게 해석 할 수있는 규모이기 때문에 분산보다는 SD에 중점을 둡니다.

사람들은 때때로 SD 또는 분산에 대한 신뢰 구간을 보지만 초점은 일반적으로 수단에 있습니다.

의 분포에 대해 제공 한 결과 는 (및 )에 대한 신뢰 구간을 얻는 데 사용될 수 있습니다 . 대부분의 소개 수학 / 통계 텍스트는 의 분포 가 언급 된 동일한 섹션에서 세부 사항을 제공합니다 . 각 꼬리에서 2.5 % 만 가져갑니다. $s^2/\sigma^2$ $\sigma^2$ $\sigma$ $\sigma^2$

— 칼
소스

(이 답변은 중복 된 질문으로 인해 여기에 왔으며 다소 다르게

— 짜여져

1

Greenwood and Sandomire는 1950 JASA 논문에서 다음 솔루션을 제공했습니다.

$X_1,\dots,X_n$ $\mathrm{N}(\mu,\sigma^2)$ $\sigma$

S = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - \bar{X})^{2}}{n - 1}},

$S=\sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X})^2}{n-1}},$ and you want to control the probability that the relative deviation between

S

$S$ and

σ

$\sigma$ is within a fraction

0 < u < 1

$0<u<1$ . That is,

Pr {S < (1 - u) \cdot σ} = a and Pr {S > (1 + u) \cdot σ} = b,

$\Pr\{S<(1-u)\cdot\sigma\}=a \quad\text{and}\quad \Pr\{S>(1+u)\cdot\sigma\}=b,$ in which the significance level

γ = 1 - a - b

$\gamma=1-a-b$ .

It follows that

Pr {\frac{(n - 1) S^{2}}{σ^{2}} < (n - 1) (1 - u)^{2}} = a

$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} < (n-1)(1-u)^2\right\} = a$ and

Pr {\frac{(n - 1) S^{2}}{σ^{2}} > (n - 1) (1 + u)^{2}} = b .

$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} > (n-1)(1+u)^2\right\} = b.$ Since the pivotal quantity

(n - 1) S^{2} / σ^{2}

$(n-1)S^2/\sigma^2$ has

χ_{n - 1}^{2}

$\chi^2_{n-1}$ distribution, adding the two probabilities, we find

γ = F_{χ_{(n - 1)}^{2}} ((n - 1) (1 + u)^{2}) - F_{χ_{(n - 1)}^{2}} ((n - 1) (1 - u)^{2}),

$\gamma = F_{\chi^2_{(n-1)}}((n-1)(1+u)^2) - F_{\chi^2_{(n-1)}}((n-1)(1-u)^2),$

and the necessary sample size is found solving the former equation in $n$ for given $\gamma$ and $u$ .

R code.

gamma <- 0.95
u <- 0.1
g <- function(n) pchisq((n-1)*(1+u)^2, df = n-1) - pchisq((n-1)*(1-u)^2, df = n-1) - gamma
cat("Sample size n = ", ceiling(uniroot(g, interval = c(2, 10^6))$root), "\n")

Output for $u=10\%$ and $\gamma=95\%$ .

Sample size n = 193

— Zen
소스