분산이 서로 뒤 따르는 모든 값의 차이로 정의되지 않는 이유는 무엇입니까?

이것은 많은 사람들에게 간단한 질문 일지 모르지만 여기에 있습니다.

분산이 평균값의 차이 대신에 뒤 따르는 모든 값의 차이로 정의되지 않는 이유는 무엇입니까?

이것은 나에게 더 논리적 인 선택 일 것입니다. 나는 분명히 몇 가지 단점을 감독하고 있다고 생각합니다. 감사

편집하다:

가능한 한 명확하게 문구를 바꾸겠습니다. 이것이 내가 의미하는 바입니다.

1. 1,2,3,4,5의 순서로 숫자가 있다고 가정하십시오.
2. (평균을 사용하지 않고) 값들 사이의 (절대적으로, 모든 후속 값 사이의 연속적인 차이)를 계산하고 합산하십시오.
3. 차이의 수로 나누기
4. (후속 조치 : 번호가 정렬되지 않은 경우 답변이 다를 수 있음)

-> 분산의 표준 공식과 비교할 때이 방법의 단점은 무엇입니까?

가장 확실한 이유는 종종 값에 시간 순서가 없기 때문입니다. 따라서 데이터가 혼란스러워도 데이터가 전달하는 정보에는 차이가 없습니다. 우리가 당신의 방법을 따르는 경우, 데이터를 뒤죽박죽 때마다 다른 샘플 차이가 발생합니다.

더 이론적 인 대답은 표본 분산이 랜덤 변수의 실제 분산을 추정한다는 것입니다. 랜덤 변수의 진정한 분산 인 E는 [ ( X - E X ) 2 ]$X$

$$E\left[ (X - EX)^2 \right].$$

여기서 는 기대 값 또는 "평균값"을 나타냅니다. 따라서 분산의 정의는 평균값에서 변수 사이의 평균 제곱 거리입니다. 이 정의를 보면 데이터가 없으므로 여기에 "시간 순서"가 없습니다. 임의 변수의 속성 일뿐입니다.$E$

이 분포에서 iid 데이터를 수집하면 실현 있습니다. 기대치를 추정하는 가장 좋은 방법은 표본 평균을 취하는 것입니다. 여기서 핵심은 iid 데이터를 가져 와서 데이터에 대한 순서가 없다는 것입니다. 샘플 x 1 , x 2 , … , x n 은 샘플 x 2 , x 5 , x 1 , x n과 동일 합니다. $x_1, x_2, \dots, x_n$$x_1, x_2, \dots, x_n$$x_2, x_5, x_1, x_n..$

편집하다

표본 분산은 표본과의 평균 거리를 측정하는 표본의 특정 종류의 분산을 측정합니다. 데이터 범위 및 양자 간 범위와 같은 다른 종류의 분산이 있습니다.

값을 오름차순으로 정렬하더라도 샘플의 특성은 변하지 않습니다. 얻은 샘플 (데이터)는 변수에서 실현됩니다. 표본 분산 계산은 변수에 얼마나 많은 분산이 있는지 이해하는 것과 유사합니다. 예를 들어, 20 명을 샘플링하고 신장을 계산하는 경우 무작위 변수 사람의 신장 에서 20 개의 "실현"입니다 . 이제 표본 분산은 일반적으로 개인의 신장 변동을 측정해야합니다. 데이터를 주문하면 100 , 110 , 123 , 124 , … $X =$

$$100, 110, 123, 124, \dots,$$

샘플의 정보는 변경되지 않습니다.

하나 더 예를 보자. 이 방법으로 정렬 된 임의의 변수에서 100 개의 관측치가 있다고 가정합니다 . . . 100. 그런 다음 평균 후속 거리는 1 단위이므로 방법에 따라 분산은 1이됩니다.

$$1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ... 100.$$

"분산"또는 "분산"을 해석하는 방법은 데이터에 어떤 범위의 값이 있는지 이해하는 것입니다. 이 경우 .99 단위의 범위를 얻게되며 물론 변동을 잘 나타내지 않습니다.

평균을 취하는 대신 후속 차이를 합하면 분산은 99가됩니다. 물론 99는 가변성이 아니라 데이터 범위를 제공하기 때문에 표본의 변동성을 나타내지 않습니다.

그런 식 으로 정의됩니다!

여기 대수가 있습니다. 값을 . 넣어야 F (각 수단이 값의 경험적 분포 함수 X I 의 기여 확률 질량 1 / N 값에서 X I를 )하고 있도록 X 및 Y가 분포 독립 확률 변수 일 F . 분산의 기본 속성 (즉, 2 차 형태 임)과 F 의 정의 와 사실에 의해$\mathbf{x}=(x_1, x_2, \ldots, x_n)$$F$$x_i$$1/n$$x_i$$X$$Y$$F$$F$ 와 Y 는 같은 의미입니다$X$$Y$

$$\eqalign{ \operatorname{Var}(\mathbf{x})&=\operatorname{Var}(X) = \frac{1}{2}\left(\operatorname{Var}(X) + \operatorname{Var}(Y)\right)=\frac{1}{2}\left(\operatorname{Var}(X-Y)\right)\\ &=\frac{1}{2}\left(\mathbb{E}((X-Y)^2) - \mathbb{E}(X-Y)^2\right)\\ &=\mathbb{E}\left(\frac{1}{2}(X-Y)^2\right) - 0\\ &=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2. }$$

이 공식은 가 정렬 되는 방식에 의존하지 않습니다 . 가능한 모든 구성 요소 쌍을 사용하여 제곱 차이의 절반을 사용하여 비교합니다. 그러나 모든 가능한 순서 ( 지수 1 , 2 , … , n 의 모든 n ! 순열의 그룹 S ( n )) 에 대한 평균 과 관련 될 수 있습니다 . 즉,$\mathbf{x}$$\mathfrak{S}(n)$$n!$$1,2,\ldots, n$

$$\operatorname{Var}(\mathbf{x})=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2 = \frac{1}{n!}\sum_{\sigma\in\mathfrak{S}(n)} \frac{1}{n} \sum_{i=1}^{n-1} \frac{1}{2}(x_{\sigma(i)} - x_{\sigma(i+1)})^2.$$

이 내부 합산은 재정렬 된 값 취하고 모든 n - 1 연속 쌍 사이의 (반) 제곱 차이를 합합니다 . n 으로 나눈 값은 본질적으로 이러한 연속 제곱 차이를 평균합니다 . 지연 -1 반 분산 이라고 알려진 것을 계산합니다 . 외부 합계는 가능한 모든 주문에 대해이 작업 을 수행합니다 .$x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}$$n-1$$n$

---

These two equivalent algebraic views of the standard variance formula give new insight into what the variance means. The semivariance is an inverse measure of the serial covariance of a sequence: the covariance is high (and the numbers are positively correlated) when the semivariance is low, and conversely. The variance of an unordered dataset, then, is a kind of average of all possible semivariances obtainable under arbitrary reorderings.

Just a complement to the other answers, variance can be computed as the squared difference between terms:

$$\begin{align} &\text{Var}(X) = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i-x_j\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i - \overline x -x_j + \overline x\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left((x_i - \overline x) -(x_j - \overline x\right))^2 = \\ &\frac{1}{n}\sum_i^n \left(x_i - \overline x \right)^2 \end{align}$$

I think this is the closest to the OP proposition. Remember the variance is a measure of dispersion of every observation at once, not only between "neighboring" numbers in the set.

---

UPDATE

Using your example: $X = {1, 2, 3, 4, 5}$. We know the variance is $Var(X) = 2$.

With your proposed method $Var(X) = 1$, so we know beforehand taking the differences between neighbors as variance doesn't add up. What I meant was taking every possible difference squared then summed:

$$Var(X) = \\ = \frac{(5-1)^2+(5-2)^2+(5-3)^2+(5-4)^2+(5-5)^2+(4-1)^2+(4-2)^2+(4-3)^2+(4-4)^2+(4-5)^2+(3-1)^2+(3-2)^2+(3-3)^2+(3-4)^2+(3-5)^2+(2-1)^2+(2-2)^2+(2-3)^2+(2-4)^2+(2-5)^2+(1-1)^2+(1-2)^2+(1-3)^2+(1-4)^2+(1-5)^2}{2 \cdot 5^2} = \\ =\frac{16+9+4+1+9+4+1+1+4+1+1+4+1+1+4+9+1+4+9+16}{50} = \\ =2$$

Others have answered about the usefulness of variance defined as usual. Anyway, we just have two legitimate definitions of different things: the usual definition of variance, and your definition.

Then, the main question is why the first one is called variance and not yours. That is just a matter of convention. Until 1918 you could have invented anything you want and called it "variance", but in 1918 Fisher used that name to what is still called variance, and if you want to define anything else you will need to find another name to name it.

The other question is if the thing you defined might be useful for anything. Others have pointed its problems to be used as a measure of dispersion, but it's up to you to find applications for it. Maybe you find so useful applications that in a century your thing is more famous than variance.

@GreenParker answer is more complete, but an intuitive example might be useful to illustrate the drawback to your approach.

In your question, you seem to assume that the order in which realisations of a random variable appear matters. However, it is easy to think of examples in which it doesn't.

Consider the example of the height of individuals in a population. The order in which individuals are measured is irrelevant to both the mean height in the population and the variance (how spread out those values are around the mean).

Your method would seem odd applied to such a case.

Although there are many good answers to this question I believe some important points where left behind and since this question came up with a really interesting point I would like to provide yet another point of view.

Why isn't variance defined as the difference between every value following    
each other instead of the difference to the average of the values?

The first thing to have in mind is that the variance is a particular kind of parameter, and not a certain type of calculation. There is a rigorous mathematical definition of what a parameter is but for the time been we can think of then as mathematical operations on the distribution of a random variable. For example if $X$ is a random variable with distribution function $F_X$ then its mean $\mu_x$, which is also a parameter, is:

$$\mu_X = \int_{-\infty}^{+\infty}xdF_{X}(x)$$

and the variance of $X$, $\sigma^2_X$, is:

$$\sigma^2_X = \int_{-\infty}^{+\infty}(x - \mu_X)^2dF_{X}(x)$$

The role of estimation in statistics is to provide, from a set of realizations of a r.v., a good approximation for the parameters of interest.

What I wanted to show is that there is a big difference in the concepts of a parameters (the variance for this particular question) and the statistic we use to estimate it.

Why isn't the variance calculated this way?

So we want to estimate the variance of a random variable $X$ from a set of independent realizations of it, lets say $x = \{x_1,\ldots,x_n\}$. The way you propose doing it is by computing the absolute value of successive differences, summing and taking the mean:

$$\psi(x) = \frac{1}{n}\sum_{i = 2}^{n}|x_i - x_{i-1}|$$

and the usual statistic is:

$$S^2(x) = \frac{1}{n-1}\sum_{i = i}^{n}(x_i - \bar{x})^2,$$

where $\bar{x}$ is the sample mean.

When comparing two estimator of a parameter the usual criterion for the best one is that which has minimal mean square error (MSE), and a important property of MSE is that it can be decomposed in two components:

MSE = estimator bias + estimator variance.

Using this criterion the usual statistic, $S^2$, has some advantages over the one you suggests.

• First it is a unbiased estimator of the variance but your statistic is not unbiased.

• One other important thing is that if we are working with the normal distribution then $S^2$ is the best unbiased estimator of $\sigma^2$ in the sense that it has the smallest variance among all unbiased estimators and thus minimizes the MSE.

When normality is assumed, as is the case in many applications, $S^2$ is the natural choice when you want to estimate the variance.

시간 단계 차이는 실제로 Allan Variance라는 한 형태로 사용됩니다. http://www.allanstime.com/AllanVariance/

Lots of good answers here, but I'll add a few.

1. The way it is defined now has proven useful. For example, normal distributions appear all the time in data and a normal distribution is defined by its mean and variance. Edit: as @whuber pointed out in a comment, there are various other ways specify a normal distribution. But none of them, as far as I'm aware, deal with pairs of points in sequence.
2. Variance as normally defined gives you a measure of how spread out the data is. For example, lets say you have a lot of data points with a mean of zero but when you look at it, you see that the data is mostly either around -1 or around 1. Your variance would be about 1. However, under your measure, you would get a total of zero. Which one is more useful? Well, it depends, but its not clear to me that a measure of zero for its "variance" would make sense.
3. It lets you do other stuff. Just an example, in my stats class we saw a video about comparing pitchers (in baseball) over time. As I remember it, pitchers appeared to be getting worse since the proportion of pitches that were hit (or were home-runs) was going up. One reason is that batters were getting better. This made it hard to compare pitchers over time. However, they could use the z-score of the pitchers to compare them over time.

Nonetheless, as @Pere said, your metric might prove itself very useful in the future.