나는 (독립적 인) 샘플을 병렬로 수집하는 실험을 실행하고 있으며 각 샘플 그룹의 분산을 계산 한 다음 모든 샘플을 합하여 모든 샘플의 총 분산을 찾고 싶습니다.

용어가 확실하지 않기 때문에 이에 대한 파생물을 찾는 데 어려움을 겪고 있습니다. 나는 그것을 하나의 RV의 파티션으로 생각합니다.

따라서 , , ... 및 에서 를 찾고 싶습니다 . 여기서 X = [X_1, X_2, \ dots, X_n] 입니다.$Var(X)$$Var(X_1)$$Var(X_2)$$Var(X_n)$$X$$[X_1, X_2, \dots, X_n]$

편집 : 파티션의 크기 / 카디널리티는 같지 않지만 파티션 크기의 합은 전체 샘플 세트의 샘플 수와 같습니다.

편집 2 : 병렬 계산에 대한 공식이 여기 에 있지만, 세트가 아닌 두 세트로 파티션의 경우 만 다룹니다 .$n$

모든 서브 샘플의 샘플 크기가 같으면 수식이 매우 간단합니다. 만약 가지고 있다면 사이즈의 서브 - 샘플 K를 (총 g의 k 개의 샘플), 그 결합 된 샘플의 분산 평균에 따라 E의 J 및 변동 V의 J 각 서브 샘플 : V R을 ( X 1 , … , X g k ) = k − $g$$k$$gk$$E_j$$V_j$로VR(E의J)시료의 분산 수단을 의미한다.

$$Var(X_1,\ldots,X_{gk}) = \frac{k-1}{gk-1}(\sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} Var(E_j)),$$ $Var(E_j)$

R의 데모 :

> x <- rnorm(100)
> g <- gl(10,10)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 9/99*(sum(vs) + 10*var(mns))
[1] 1.033749
> var(x)
[1] 1.033749

표본 크기가 같지 않으면 수식이 그리 좋지 않습니다.

편집 : 동일하지 않은 샘플 크기에 대한 공식

이 경우 서브 샘플 각각 k 개의 J , J = 1 , ... , g의 총 요소 N = Σ k 개의 J의 값은, 다음 V 형 R은 ( X 1 , ... , X N ) = $g$$k_j, j=1,\ldots,g$$n=\sum{k_j}$ 여기서 ˉ X =(∑ g j = 1 kj ˉ X j)/n은 모든 평균의 가중 평균 (모든 값의 평균과 동일)입니다.

$$Var(X_1,\ldots,X_{n}) = \frac{1}{n-1}\left(\sum_{j=1}^g (k_j-1) V_j + \sum_{j=1}^g k_j (\bar{X}_j - \bar{X})^2\right),$$ $\bar{X} = (\sum_{j=1}^gk_j\bar{X}_j)/n$

다시 한 번 시연 :

> k <- rpois(10, lambda=10)
> n <- sum(k)
> g <- factor(rep(1:10, k))
> x <- rnorm(n)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 1/(n-1)*(sum((k-1)*vs) + sum(k*(mns-weighted.mean(mns,k))^2))
[1] 1.108966
> var(x)
[1] 1.108966

$(X_{ji}-\bar{X})^2$$\bar{X}_j$$[(X_{ji}-\bar{X}_j)-(\bar{X}_j-\bar{X})]^2$

이것은 단순히 파생의 대략적인 스케치와 파이썬 코드 로 aniko 의 답변 에 추가 된 것이므로 모든 크레딧은 aniko로 이동합니다.

유도

$X_j \in X = \{X_1, X_2, \ldots, X_g\}$$g$$k_j = |X_j|$

$$\begin{align*} E_j & = \mathrm{E}\left[X_j\right] = \frac{1}{k_j} \sum_{i=1}^{k_j} X_{ji}\\ V_j & = \mathrm{Var}\left[X_j\right] = \frac{1}{k_j-1} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 \end{align*}$$ $n = \sum_{j=1}^g k_j$ $$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - \mathrm{E}\left[X\right])^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} \big((X_{ji} - E_j) - (\mathrm{E}\left[X\right] - E_j)\big)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 - 2(X_{ji} - E_j)(\mathrm{E}\left[X\right] - E_j) + (\mathrm{E}\left[X\right] - E_j)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} (k_j - 1) V_j + k_j (\mathrm{E}\left[X\right] - E_j)^2. \end{align*}$$ If we have the same size $k$ for each part, i.e. $\forall j: k_j = k$, above formula simplifies to $$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^g (k-1) V_j + k(g-1) \mathrm{Var}\left[E_j\right] \\ & = \frac{k-1}{n-1} \sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} \mathrm{Var}\left[E_j\right] \end{align*}$$

python code

The following python function works for arrays that have been splitted along the first dimension and implements the "more complex" formula for differently sized parts.

import numpy as np

def combine(averages, variances, counts, size=None):
    """
    Combine averages and variances to one single average and variance.

    # Arguments
        averages: List of averages for each part.
        variances: List of variances for each part.
        counts: List of number of elements in each part.
        size: Total number of elements in all of the parts.
    # Returns
        average: Average over all parts.
        variance: Variance over all parts.
    """
    average = np.average(averages, weights=counts)

    # necessary for correct variance in case of multidimensional arrays
    if size is not None:
        counts = counts * size // np.sum(counts, dtype='int')

    squares = (counts - 1) * variances + counts * (averages - average)**2
    return average, np.sum(squares) / (size - 1)

It can be used as follows:

# sizes k_j and n
ks = np.random.poisson(10, 10)
n = np.sum(ks)

# create data
x = np.random.randn(n, 20)
parts = np.split(x, np.cumsum(ks[:-1]))

# compute statistics on parts
ms = [np.mean(p) for p in parts]
vs = [np.var(p, ddof=1) for p in parts]

# combine and compare
combined = combine(ms, vs, ks, x.size)
numpied = np.mean(x), np.var(x, ddof=1)
distance = np.abs(np.array(combined) - np.array(numpied))
print('combined --- mean:{: .9f} - var:{: .9f}'.format(*combined))
print('numpied  --- mean:{: .9f} - var:{: .9f}'.format(*numpied))
print('distance --- mean:{: .5e} - var:{: .5e}'.format(*distance))