공분산의 정의에 대한 직감

나는 두 개의 임의 변수의 공분산을 더 잘 이해하고 그것을 처음 생각한 사람이 통계에서 일상적으로 사용되는 정의에 어떻게 도달했는지 이해하려고 노력했습니다. 나는 그것을 더 잘 이해하기 위해 위키 백과 에 갔다 . 이 기사에서 대한 올바른 후보 측정 또는 수량 은 다음과 같은 속성을 가져야합니다.$Cov(X,Y)$

1. 두 개의 임의 변수가 유사 할 때 (즉, 하나가 다른 하나를 증가시킬 때와 다른 하나가 감소 할 때도) 양의 부호를 나타냅니다.
2. 또한 두 개의 랜덤 변수가 반대로 비슷한 경우 (즉, 하나의 변수가 증가하면 다른 임의의 변수가 감소하는 경향이 있음) 음의 부호를 갖기를 원합니다
3. 마지막으로, 두 변수가 서로 독립적 일 때 (즉, 서로에 대해 서로 상이하지 않을 때)이 공분산 양이 0 (또는 매우 작을까요?)이 되길 원합니다.

위의 속성에서 를 정의하려고합니다 . 첫 번째 질문은 가 왜 이러한 속성을 만족시키는 지 완전히 명확하지 않습니다 . 우리가 가진 속성에서 나는 더 많은 "유도 적"과 같은 방정식이 이상적인 후보가 될 것으로 기대했을 것입니다. 예를 들어, "X의 변화가 양수이면 Y의 변화도 양수 여야합니다"와 같은 것입니다. 또한 왜 "올바른"행동과 다른 의미를 갖는가?C o v ( X , Y ) = E [ ( X - E [ X ] ) ( Y - E [ Y ] ) $Cov(X,Y)$$Cov(X,Y) = E[(X-E[X])(Y-E[Y])]$

보다 탄젠트하지만 여전히 흥미로운 질문은 이러한 속성을 만족시킬 수 있고 여전히 의미 있고 유용했을 다른 정의가 있습니까? 나는 왜 우리가 왜이 정의를 처음에 사용하는지에 대해 의문을 품고 있지 않기 때문에 이것을 묻고있다. (내 생각에 끔찍한 이유이며 과학적이고 수학적 호기심과 사고). 수용된 정의가 우리가 가질 수있는 "최상의"정의입니까?

다음은 수용된 정의가 왜 합리적인지에 대한 나의 생각입니다 (직관적 인 주장 일뿐입니다).

하자 (즉,이 시간에 다른 값에 어떤 값에서 변경) 변수 X에 대한 몇 가지 차이가. 마찬가지로 를 정의 .Δ $\Delta_X$$\Delta_Y$

한 번의 인스턴스에 대해 다음을 수행하여 관련 여부를 계산할 수 있습니다.

이것은 다소 좋다! 한 번에, 그것은 우리가 원하는 속성을 만족시킵니다. 둘 다 함께 증가하면 대부분의 경우 위의 양은 양수 여야합니다 (반대로 유사하면 의 부호가 같기 때문에 음수입니다 ).$Delta$

그러나 그것은 우리에게 한 번에 하나의 인스턴스에 대해 원하는 양을 제공하며, rv이기 때문에 하나의 관측치에 기초하여 두 변수의 관계를 기반으로 결정하면 초과 적합 할 수 있습니다. 그렇다면 차이점의 "평균적인"결과를보기 위해 이것을 기대해보십시오.

평균 관계가 위에 정의 된 것을 평균적으로 포착해야합니다! 그러나이 설명이 가지고있는 유일한 문제는이 차이점을 어떻게 측정 할 것인가입니다. 이것은 평균과의 차이를 측정하여 해결되는 것으로 보입니다 (어떤 이유로 올바른 일입니다).

나는 정의와 관련된 주요 문제는 평균에서 차이를 취하는 것 같아요 . 나는 그것을 저 자신에게 정당화 할 수없는 것 같습니다.

부호에 대한 해석은 더 복잡한 주제 인 것처럼 보이기 때문에 다른 질문으로 남겨 둘 수 있습니다.

빈 숫자 스택으로 시작한다고 상상해보십시오. 그런 다음 관절 분포에서 쌍 을 그리기 시작 합니다. 다음 네 가지 중 하나가 발생할 수 있습니다.$(X,Y)$

1. X와 Y가 각각의 평균보다 크면 쌍이 비슷 하므로 양수를 스택에 넣습니다.
2. X와 Y가 각각 평균보다 작 으면 쌍이 비슷 하고 양수를 스택에 넣습니다.
3. X가 평균보다 크고 Y가 평균보다 작 으면 쌍이 다르고 스택에 음수를 넣습니다.
4. X가 평균보다 작고 Y가 평균보다 크면 쌍이 다르고 스택에 음수를 넣습니다.

그런 다음 X와 Y의 (비 유사성)에 대한 전반적인 측정 값을 얻기 위해 스택의 숫자 값을 모두 더합니다. 양의 합계는 변수가 동시에 같은 방향으로 이동 함을 나타냅니다. 음수 합계는 변수가 반대 방향으로 더 자주 움직이지 않음을 나타냅니다. 합계가 0이면 한 변수의 방향을 아는 것이 다른 변수의 방향에 대해 많이 알려주지 않습니다.

음이 아닌 두 변수가 비슷하다고 판단 될 수 있으므로 (예 : M42에서 다음 자동차 사고의 크기와 내일 Paddington 기차역에서 구입 한 티켓 수).

공분산 공식은이 과정의 공식화입니다.

$\text{Cov}(X,Y)=\mathbb E[(X−E[X])(Y−E[Y])]$

몬테카를로 시뮬레이션 대신 확률 분포를 사용하고 스택에 넣은 숫자의 크기를 지정합니다.

여기 방정식없이 그것을 볼 수있는 직관적 인 방법이 있습니다.

1. 분산을 더 높은 차원으로 일반화합니다. 데이터의 작동 방식을 설명하려는 동기에서 비롯된 것 같습니다. 첫 번째로, 우리는 그 위치-평균을 가지고 있습니다. 두 번째로, 우리는 산포-공분산을가집니다.

   정의와 관련된 주요 문제는 평균에서 차이를 취하는 것 같습니다. 나는 그것을 저 자신에게 정당화 할 수없는 것 같습니다.

   분산은 분포 중심을 기준으로 평가됩니다. 분산의 가장 기본적인 정의는 '평균과의 평균 편차'입니다. 따라서 공분산의 경우에도 평균을 빼야합니다.

2. 염두에 두어야 할 또 다른 주요 동기는 임의 변수 사이의 거리를 측정하는 방법을 정의해야한다는 것입니다. 마할 라 노비스 거리 와 공분산은 서로 밀접한 관계가 있습니다. 가우스 분포에서 추출되지 않은 특이 치가 될 가능성이 높은 표본을 물으면 유클리드 거리는 그렇지 않습니다. Mahalanobis 거리는 유클리드 거리와 눈에 띄는 차이가 하나 있습니다. 분포의 분산 (공분산)을 고려합니다. 이를 통해 임의 변수까지의 거리를 일반화 할 수 있습니다.

3. 마지막으로, 두 변수가 서로 독립적 일 때 (즉, 서로에 대해 서로 상이하지 않을 때)이 공분산 양이 0 (또는 매우 작을까요?)이 되길 원합니다.

$\left(\frac 12\right)$$X$$Y$$E[XY]$$E[XY] = \frac 14$$\hat{X}=1000X$$\hat Y = 1000Y$$E[\hat X \hat Y] = 250,000$$(X,Y) = E[(X-E[X])(Y-E[Y])]$

2. 또한 두 개의 랜덤 변수가 반대로 비슷한 경우 (즉, 하나의 변수가 증가하면 다른 임의의 변수가 감소하는 경향이 있음) 음의 부호를 갖기를 원합니다

$X$$Y = 1-X$$E[XY]=0$$(X,Y) = E[(X-E[X])(Y-E[Y])]$

1. 그것은해야한다 (원문) 두 확률 변수가 비슷하면 긍정적 인 신호가 (즉 하나 증가 다른 하나가 수행하고 하나가 감소 할 때 다른 하나는 너무 않는 경우).

$X$$Y = X-1$$E[XY]$$(X,Y) = E[(X-E[X])(Y-E[Y])]$ 원하는대로 양수 값을 제공합니다.

$X = Y$

나는 똑같은 질문에 대해 궁금해했고 추측에 의한 직감이 나를 도왔다. 직관을 시각화하기 위해 두 개의 임의의 법선 벡터 x와 y를 취하고 산점도를 플로팅하고 각 평균의 편차 (양수 값의 경우 파란색, 음수의 경우 빨간색)로 산점을 표시했습니다.

그림에서 알 수 있듯이, 제품은 오른쪽 위와 왼쪽 아래 사분면에서 가장 긍정적 인 반면 오른쪽 아래와 왼쪽 위 사분면에서 가장 부정적인 것입니다. 파란색 포인트가 빨간색 포인트를 취소하므로 제품을 합산하면 0이됩니다.

그러나 빨간색 점을 제거하면 나머지 데이터가 서로 양의 관계를 나타내며 양의 제품 합계 (예 : 파란색 점의 합계)로 확인됩니다.

랜덤 변수의 벡터 공간에서 거리 도트 곱의 이러한 정의 또는 랜덤 변수의 관계에 대해 E {(xy) ^ 2}로 두 랜덤 변수 x와 y 사이의 거리의 제곱을 정의하는 것이 합리적입니다. {xy}는 정규화에 사용되는 용어 -E {x} 및 -E {y}를 제외하고 공분산 정의와 매우 유사합니다.