평균이 평균과 다른 샘플에서 더 안정적인 경향이있는 이유는 무엇입니까?

Andy Fields 등이 R 을 사용한 통계 발견의 섹션 1.7.2는 평균 대 중앙값의 장점을 나열하면서 다음과 같이 설명합니다.

... 평균은 다른 샘플에서 안정적입니다.

이것은 중간의 많은 미덕을 설명한 후에, 예를 들어

... 중앙값은 분포의 양쪽 끝에서 극한 점수의 영향을받지 않습니다 ...

중앙값이 극단적 인 점수에 상대적으로 영향을받지 않는다는 것을 감안할 때, 나는 샘플에서 더 안정적이라고 생각했을 것입니다. 그래서 저자의 주장에 당황했습니다. 시뮬레이션을 실행했는지 확인하기 위해 – 1M 난수를 생성하고 100 개의 숫자를 1000 번 샘플링하고 각 샘플의 평균 및 중앙값을 계산 한 다음 해당 샘플 평균 및 중앙값의 sd를 계산했습니다.

nums = rnorm(n = 10**6, mean = 0, sd = 1)
hist(nums)
length(nums)
means=vector(mode = "numeric")
medians=vector(mode = "numeric")
for (i in 1:10**3) { b = sample(x=nums, 10**2); medians[i]= median(b); means[i]=mean(b) }
sd(means)
>> [1] 0.0984519
sd(medians)
>> [1] 0.1266079
p1 <- hist(means, col=rgb(0, 0, 1, 1/4))
p2 <- hist(medians, col=rgb(1, 0, 0, 1/4), add=T)

보시다시피 평균이 중앙값보다 더 밀접하게 분포되어 있습니다.

첨부 된 이미지에서 빨간색 히스토그램은 중간 값을위한 것입니다. 알 수 있듯이 키가 작고 꼬리가 굵고 저자의 주장을 확인합니다.

그래도 나는 이것에 화를 냈다! 보다 안정적인 중앙값이 어떻게 샘플마다 더 다양 해지는 경향이 있습니까? 역설적 인 것 같습니다! 모든 통찰력을 주시면 감사하겠습니다.

중앙값은 특이 치에 대해 최대로 강하지 만 노이즈에 매우 민감합니다. 각 포인트에 소량의 노이즈가 발생하는 경우, 노이즈가 포인트의 상대 순서를 변경하지 않을 정도로 작은 경우에는 언 포인트 된 중앙값으로 들어갑니다. 평균적으로 그것은 다른 방향입니다. 소음은 평균화되지만 단일 특이 치가 평균을 임의로 변경할 수 있습니다.

테스트는 대부분 노이즈에 대한 견고성을 측정하지만 중간 성능이 더 우수한 테스트를 쉽게 만들 수 있습니다. 특이 치와 노이즈에 모두 강한 추정기를 원한다면 상단과 하단의 3 분의 1을 버리고 나머지를 평균화하십시오.

@ whuber와 다른 사람들이 말했듯이, 그 진술은 일반적으로 사실이 아닙니다. 더 직관적 인 태도를 원한다면 (여기서는 심도있는 수학 전문가를 따라 잡을 수 없습니다) 다른 방법으로 평균과 중간 값이 안정적인지 확인할 수 있습니다. 이 예에서는 설명이 일관성 있고 단순하게 유지 될 수 있도록 홀수 점을 가정합니다.

1. 숫자 선에 점이 퍼졌다 고 상상해보십시오. 이제 중간 위의 모든 포인트를 가져 와서 최대 10 배까지 값을 이동한다고 가정하십시오. 중앙값은 변하지 않았으며 평균이 크게 이동했습니다. 따라서 중앙값이 더 안정적으로 보입니다.

2. 이제이 점들이 상당히 퍼져 있다고 상상해보십시오. 중심점을 위아래로 움직입니다. 한 단위 이동은 중앙값을 하나씩 변경하지만 평균은 거의 이동하지 않습니다. 중앙값은 이제 단일 지점의 작은 움직임에 덜 안정적이며 더 민감 해 보입니다.

3. 이제 가장 높은 지점을 가져 가서 가장 높은 지점에서 가장 낮은 지점으로 부드럽게 이동한다고 상상해보십시오. 평균도 부드럽게 움직입니다. 그러나 중앙값은 연속적으로 움직이지 않습니다. 높은 지점이 이전 중앙값보다 낮아질 때까지 전혀 움직이지 않습니다. 그런 다음 다음 지점 아래로 내려갈 때까지 그 지점을 따라 시작합니다. 포인트를 아래쪽으로 계속 움직이면서 움직이지 마십시오. [댓글 당 편집]

따라서 점의 다른 변형으로 인해 평균 또는 중간 값이 어떤 의미에서 덜 매끄 럽거나 안정적으로 보입니다. 여기서 수학 헤비-히터는 여러분이 샘플링 할 수있는 분포를 보여 주었는데, 이는 실험과 더 일치하지만,이 직감도 도움이되기를 바랍니다.

$n$$\mu$$\sigma^2 < \infty$$f$$m$$\tilde{f}$$\tilde{f}(z) = \sigma \cdot f(\mu+\sigma z)$$z \in \mathbb{R}$. 표본 평균 및 표본 중앙값의 점근 적 분산은 다음과 같이 각각 주어집니다.

$$\mathbb{V}(\bar{X}_n) = \frac{\sigma^2}{n} \quad \quad \quad \quad \quad \mathbb{V}(\tilde{X}_n) \rightarrow \frac{\sigma^2}{n} \cdot \frac{1}{4} \cdot \tilde{f}\Big( \frac{m-\mu}{\sigma} \Big)^{-2}.$$

그러므로 우리는 :

$$\frac{\mathbb{V}(\bar{X}_n)}{\mathbb{V}(\tilde{X}_n)} \rightarrow 4 \cdot \tilde{f}\Big( \frac{m-\mu}{\sigma} \Big)^2.$$

$n$

$$\mathbb{V}(\bar{X}_n) < \mathbb{V}(\tilde{X}_n) \quad \quad \iff \quad \quad f_* \equiv \tilde{f} \Big( \frac{m-\mu}{\sigma} \Big) < \frac{1}{2}.$$

$n$$f_* = 1 / \sqrt{2 \pi} = 0.3989423 < 1/2$

의견 : 평균과 중간 값의 SD가 반대 결과를 갖는 분포를 사용하여 시뮬레이션을 반향하기 만하면됩니다.

특히 numsLaplace 분포 ( 'double exponential'이라고도 함)에서 왔으며, 동일한 비율 (여기서는 기본 비율 1)의 두 지수 분포의 차이로 시뮬레이션 할 수 있습니다. [ Laplace 배포판의 Wikipedia 를 참조하십시오 .]

set.seed(2019)
nums = rexp(10^6) - rexp(10^6)
means=vector(mode = "numeric")
medians=vector(mode = "numeric")
for (i in 1:10^3) { b = sample(x=nums, 10^2); 
  medians[i]= median(b); means[i]=mean(b) }
sd(means)
[1] 0.1442126
sd(medians)
[1] 0.1095946   # <-- smaller

hist(nums, prob=T, br=70, ylim=c(0,.5),  col="skyblue2")
 curve(.5*exp(-abs(x)), add=T, col="red")

참고 : @whuber의 링크에서 명시 적으로 언급 된 또 다른 쉬운 가능성은 Cauchy rt(10^6, 1)입니다. 그러나 꼬리가 너무 무거워서 멋진 히스토그램을 만드는 것은 문제가됩니다.