중심화가 공분산을 줄입니까?

11

두 개의 비 독립적 랜덤 변수가 있고 너무 많은 "신호"를 잃지 않고 가능한 한 변수 간의 공분산을 줄이고 싶다고 가정하면 센터링이 도움이됩니까? 나는 중심화가 의미있는 요인으로 상관 관계를 줄인다는 것을 어딘가 읽었으므로 공분산에 대해서도 동일하게 수행해야한다고 생각합니다.

correlation covariance random-vector

— lvdp
소스

30

경우 및 랜덤 변수이다 와 상수이고, 그 다음 중심 은 특별한 경우 및 이므로 중심 은 공분산에 영향을 미치지 않습니다. $X$ $Y$ $a$ $b$

\begin{aligned} Cov (X + a, Y + b) & = E [(X + a - E [X + a]) (Y + b - E [Y + b])] \\ = E [(X + a - E [X] - E [a]) (Y + b - E [Y] - E [b])] \\ = E [(X + a - E [X] - a) (Y + b - E [Y] - b)] \\ = E [(X - E [X]) (Y - E [Y])] \\ = Cov (X, Y) . \end{aligned}

$\begin{aligned} \operatorname{Cov}(X + a, Y + b) &= E[(X + a - E[X + a])(Y + b - E[Y + b])] \\ &= E[(X + a - E[X] - E[a])(Y + b - E[Y] - E[b])] \\ &= E[(X + a - E[X] - a)(Y + b - E[Y] - b)] \\ &= E[(X - E[X])(Y - E[Y])] \\ &= \operatorname{Cov}(X, Y). \end{aligned}$

a = - E [X]

$a = -E[X]$

b = - E [Y]

$b = -E[Y]$

또한 상관은 우리가 볼 수있는 특히 상관 관계는 중심에 영향을받지 않습니다.

Corr (X, Y) = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}},

$\operatorname{Corr}(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}},$

\begin{aligned} Corr (X + a, Y + b) & = \frac{Cov (X + a, Y + b)}{\sqrt{Var (X + a) Var (Y + b)}} \\ = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}}, \end{aligned}

$\begin{aligned} \operatorname{Corr}(X + a, Y + b) &= \frac{\operatorname{Cov}(X + a, Y + b)}{\sqrt{\operatorname{Var}(X + a) \operatorname{Var}(Y + b)}} \\ &= \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}}, \end{aligned}$

그것은 이야기의 인구 버전이었습니다. 샘플 버전은 동일합니다. 사이의 공분산 추정치 및 페어링의 샘플 후,

\hat{Cov} (X, Y) = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j})

$\widehat{\operatorname{Cov}}(X, Y) = \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right)$

X

$X$

Y

$Y$

(X_{1}, Y_{1}), \dots, (X_{n}, Y_{n})

$(X_1,Y_1), \ldots, (X_n,Y_n)$

\begin{aligned} \hat{Cov} (X + a, Y + b) & = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} (X_{j} + a)) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} (Y_{j} + b)) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} X_{j} - \frac{n}{n} a) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} Y_{j} - \frac{n}{n} b) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j}) \\ = \hat{Cov} (X, Y) \end{aligned}

$\begin{aligned} \widehat{\operatorname{Cov}}(X + a, Y + b) &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n (X_j + a)\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n (Y_j + b)\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n X_j - \frac{n}{n} a\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n Y_j - \frac{n}{n} b\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right) \\ &= \widehat{\operatorname{Cov}}(X, Y) \end{aligned}$ 에 대한 모든 와 .

a

$a$

b

$b$

— 아르 템 마 브린
소스

자세한 답변 주셔서 감사합니다. 표본 공분산의 경우 표본 크기에도 영향이 없음을 의미합니까? 즉, 표본 크기를 줄이면 표본 공분산이 감소하지 않습니까?

— lvdp

3

@lvdp 아마도 별도의 질문이어야합니다.

— 누적

축소 된 샘플 크기는 다른 샘플에만 제공 될 수 있습니다. 따라서 다른 표본은 다른 공분산을 보여줄 수 있습니다. 그러나 표본 공분산은 평균으로 정의되므로 표본 크기는 원칙적으로 조정됩니다.

— Nick Cox

5

$X$ $Y$ $E[(X-E[X])(Y-E[Y])]$ $X-E[X]$ $X$ $X$ 공분산을 취하면 중심화는 dem 등원 연산자입니다. 변수가 중심에 놓이면 중심 프로세스를 추가로 적용해도 변경되지 않습니다. 공식이 변수의 중심 버전을 취하지 않으면 온도와 섭씨 온도를 측정하는지에 따라 다른 변수 간의 공분산과 같은 모든 종류의 이상한 효과가 발생합니다.

— 축적
소스

3

"어딘가"는 다소 신뢰할 수없는 출처 인 경향이 있습니다 ...

공분산 / 상관은 명시 적 센터링으로 정의됩니다 . 데이터를 중심에 두지 않으면 공분산 / 상관을 계산하지 않은 것입니다. (정확하게 : Pearson 상관 관계)

주요 차이점은 이론적 모델 (예 : 예상 값이 정확히 0이어야 함)을 기반으로하는지 또는 데이터 (산술 평균)를 기반으로하는지 여부입니다. 산술 평균이 다른 중심보다 작은 공분산을 생성한다는 것을 쉽게 알 수 있습니다.

그러나 공분산이 작을수록 상관 관계가 작거나 반대되는 것은 아닙니다. 데이터 X = (1,2) 및 Y = (2,1)가 있다고 가정합니다. 산술 평균 중심화를 사용하면 완벽하게 음의 상관 관계를 얻을 수 있지만 생성 프로세스가 평균 0을 생성하면 데이터는 실제로 양의 상관 관계가 있음을 알 수 있습니다. 따라서이 예에서 우리는 중심에 있지만 이론적으로 예상되는 값은 0입니다.

이것은 쉽게 발생할 수 있습니다. 셀 번호가 -5에서 +5 인 센서 배열 11x11이 있다고 가정 해 봅시다. 산술 평균을 취하는 것보다는 센서 이벤트의 상관 관계를 찾을 때 여기에 센서 배열의 "물리적"평균을 사용하는 것이 합리적입니다 (셀 0 ~ 10을 열거하면 5를 고정 평균으로 사용합니다) 그리고 우리는 똑같은 결과를 얻을 것이므로 분석에서 색인 선택이 사라집니다.

— 종료-익명-무스
소스

감사합니다 @ Anony-Mousse, 표본 공분산이 표본 크기에 따라 달라 집니까? 즉, 표본 크기가 작을수록 공분산이 작아집니다 (중심 전).

— lvdp

1

샘플에 따라 다릅니다. 평균적으로 나는 모른다. 표본이 작을수록 가변성이 더 클 것으로 예상되므로 더 극단적 인 값일 수 있습니다. 그러나 그것은 직관 일뿐입니다.

— 종료-익명-무스