두 변수의 합이 개별 변수보다 더 많은 분산을 어떻게 설명 할 수 있습니까?

두 예측 변수가 음의 상관 관계가있는 경우 세 번째 변수와 합계의 상관 관계에 대한 혼란스러운 결과가 나타납니다. 이러한 난처한 결과의 원인은 무엇입니까?

예 1 : 두 변수의 합과 세 번째 변수의 상관

아래 표시된 Guildford의 1965 년 텍스트의 427 페이지에있는 공식 16.23을 고려하십시오.

당황한 결과 : 두 변수가 .2를 세 번째 변수와 상관시키고 -.7을 서로 상관시키는 경우 수식의 값은 .52입니다. 두 변수가 각각 0.2 변수와 세 번째 변수의 상관 관계인 경우 총계와 세 번째 변수의 상관 관계는 어떻게 .52 일 수 있습니까?

예 2 : 두 변수와 세 번째 변수 사이의 다중 상관 관계는 무엇입니까?

Guildford 's 1965 텍스트의 404 페이지의 공식 16.1을 고려하십시오 (아래 참조).

난처한 발견 : 같은 상황. 두 변수가 .2를 세 번째 변수와 상관시키고 -.7을 서로 상관시키는 경우 수식의 값은 .52입니다. 두 변수가 각각 0.2 변수와 세 번째 변수의 상관 관계인 경우 총계와 세 번째 변수의 상관 관계는 어떻게 .52 일 수 있습니까?

나는 약간의 Monte Carlo 시뮬레이션을 시도했고 Guilford 공식의 결과를 확인했습니다.

그러나 두 예측 변수가 각각 세 번째 변수의 분산의 4 %를 예측하는 경우 어떻게 합의 1/4을 분산으로 예측할 수 있습니까?

출처 : 심리학과 교육의 기초 통계, 제 4 판, 1965.

설명

내가 다루고있는 상황은 지금 자신의 능력을 측정하여 개인의 미래 성과를 예측하는 것입니다.

아래의 2 개의 벤 다이어그램은 상황에 대한 나의 이해를 보여주고 내 의문을 명확히하기위한 것입니다.

이 벤 다이어그램 (그림 1)은 x1과 C 사이의 0 차 r = .2를 반영합니다. 필자의 분야에는 기준을 완만하게 예측하는 예측 변수가 많이 있습니다.

이 벤 다이어그램 (그림 2)은 각각 r = .2에서 C를 예측하는 두 예측 변수, x1 및 x2를 반영하고 두 예측 변수는 음의 상관 관계 r =-. 7을 반영합니다.

C의 분산의 25 %를 함께 예측하게하는 두 r = .2 예측 변수 사이의 관계를 구상하는 데 실패했습니다.

x1, x2 및 C의 관계를 이해하는 데 도움을 요청합니다.

(내 질문에 대한 답변으로 일부 사람들이 제안한대로) x2가 x1에 대한 억제 변수로 작동하는 경우 두 번째 벤 다이어그램의 어떤 영역이 억제됩니까?

구체적인 예가 도움이 될 경우 x1과 x2는 2 명의 인간 능력으로, C는 4 년 후 4 년제 대학 GPA로 간주 할 수 있습니다.

억제 변수가 어떻게 두 r = .2 0 차 r의 8 % 설명 분산이 C의 분산의 25 %를 확대하고 설명하게 만들 수 있는지 상상하는 데 어려움을 겪고 있습니다. 구체적인 예는 매우 도움이 될 것입니다.

두 예측 변수에 모두 큰 방해 요소가 포함되어 있지만 반대 부호가있는 경우 이러한 문제가 발생할 수 있습니다. 따라서이를 합치면 귀찮은 요소가 취소되고 세 번째 변수에 더 가까운 값을 얻게됩니다.

더 극단적 인 예를 들어 설명하겠습니다. 이 독립 표준 정규 확률 변수 라고 가정 합니다. 이제하자$X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

말 세 번째 변수 될 일이 당신이 예측이고, 당신에 대해 아무것도 모르는 잠재 변수입니다. A와 Y의 상관 관계는 0이고 B와 Y와의 상관 관계는 0.00001에 가깝습니다. * 그러나 와 의 상관 관계 는 1입니다.$Y$$A, B$$X$$A+B$$Y$

* B의 표준 편차는 1보다 약간 작은 작은 보정이 있습니다.

세 개의 변수를 다른 비 상관 변수의 선형 조합으로 생각하면 도움이 될 수 있습니다. 통찰력을 향상시키기 위해 기하학적으로 묘사하고 대수적으로 작업하며 원하는대로 통계적 설명을 제공 할 수 있습니다.

그런 다음 세 개의 상관 관계없는 제로 평균 단위 분산 변수 , 및 . 이 구성에서 다음을 수행하십시오.$X$$Y$$Z$

$$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$$

기하학적 설명

다음 그래픽은 이러한 변수 간의 관계를 이해하는 데 필요한 모든 것입니다.

$U$$V$$W$$U+V$$X,Y,Z$$U$$V$$U$$V$$W$$U$$V$$W$, 예각 (약 45도) 만들기 : 예상치 못한 양의 상관 관계가 있습니다.

---

대수 계산

좀 더 엄격한 것을 원하는 사람들을 위해 그래픽의 지오메트리를 백업하는 대수학이 있습니다.

$U$$V$$W$

$$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$$

$X$$Y$

$$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$$

과

$$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$$

드디어,

$$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$$

결과적으로이 세 변수는 원하는 상관 관계를 갖습니다.

---

통계 설명

이제 왜 모든 것이 작동하는지 확인할 수 있습니다.

• $U$ 및 강한 음의 상관 관계가 때문에 부정적인 비례 플러스의 작은 여러 형태의 작은 "노이즈" .$V$$-7/10$$V$$U$$Y$

• $U$ 및 약한 양의 상관 관계가 때문에 작은 다수 포함 플러스의 배수의 형태로 많은 소음 및 .$W$$1/5$$W$$U$$Y$$Z$

• $V$ ( 상관 관계를 변경하지 않는 곱한 경우 )는 다음 세 가지의 합 이므로 와 는 약한 양의 상관 관계를 갖습니다 .$W$$1/5$$W$$\sqrt{75}$

  • $\sqrt{17}Y$ , 와 양의 상관 관계가 있습니다 .$V$
  • $-\sqrt{3}X$ , 그 음의 상관성 전체적인 상관을 감소시킨다;$V$
  • 많은 노이즈를 발생시키는 의 배수 .$Z$

• 그럼에도 불구하고 는 와 양의 상관 관계 가 있습니다. 그 부분의 배수 하지 않는 등 .WW$U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$$W$$W$$Z$

또 다른 간단한 예 :

• $z \sim \mathcal{N}(0,1)$
• $x_1 \sim \mathcal{N}(0,1)$
• $x_2 = z - x_1$$z = x_1 + x_2$

그때:

• $\mathrm{Corr}(z, x_1) = 0$
• $\mathrm{Corr}(z, x_2) \approx .7$
• $\mathrm{Corr}(z, x_1 + x_2) = 1$

기하학적으로 진행되는 일은 WHuber의 그래픽과 같습니다. 개념적으로 다음과 같이 보일 수 있습니다.

$E[XY]$

$x_1$ 과 는 서로 관련이 없으므로 직교합니다. 하자 두 벡터 사이 나타낸다 각도.$z$$\theta$

• $\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
• $\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
• $\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

Flounderer의 답변에서 토론에 연결하려면 를 신호로, 을 잡음으로, 잡음 신호 를 신호 와 노이즈를 의 합으로 . 을 더하는 것은 노이즈 신호 에서 노이즈 을 빼는 것과 같습니다 .− x 1 x 2 z − x 1 x 1 x 2 − x 1 x $z$$-x_1$$x_2$$z$$-x_1$$x_1$$x_2$$-x_1$$x_2$

귀하의 의견을 말하십시오 :

수학에도 불구하고, 나는 여전히 합으로 들어가는 두 변수에서 각각 세 번째 변수의 분산의 25 %를 설명하지만 두 번째 변수의 분산의 4 %를 설명하는 두 변수의 합의 논리를 보지 못합니다. . 두 변수를 추가하여 8 % 설명 분산이 어떻게 25 % 설명 분산이 될 수 있습니까?

여기서 문제는 "분산 설명"이라는 용어 인 것 같습니다. 통계의 많은 용어와 마찬가지로 이것은 실제보다 더 의미있는 것처럼 들리도록 선택되었습니다.

다음은 간단한 수치 예입니다. 일부 변수 있다고 가정하십시오.$Y$

$$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$$

$U$$Y$$R$$R$$Y$

$$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$$

$U = R + 0.1Y$

$$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$$

$V=-R+0.1Y$

$$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$$

$U$$V$$Y$$r$$0.2Y$$Y$

$Y$$U$$U$$R$$V$$R$$Y$$U+V$

$A$$B$$B$$A$