조건부 가우스 분포의 직관은 무엇입니까?

라고 가정하자 $\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$ . 이어서 조건부 분포 $X_1$ 주어진 $X_2 = x_2$ 변수 통상, 평균 분산 :

E [P (X_{1} | X_{2} = x_{2})] = μ_{1} + \frac{σ_{12}}{σ_{22}} (x_{2} - μ_{2})

$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$

및 분산 :

V a r [P (X_{1} | X_{2} = x_{2})] = σ_{11} - \frac{σ_{12}^{2}}{σ_{22}}

${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$

더 많은 정보를 가지고 있기 때문에 분산이 줄어드는 것이 합리적입니다. 그러나 평균 공식의 직관은 무엇입니까? $X_1$ 과 사이의 공분산 $X_2$ 은 조건 평균을 어떻게 고려합니까?

normal-distribution multivariate-analysis intuition

— eroeijr
소스

귀하의 질문은 단순히 '조건부 분포의 평균이

이 아닌 이유

μ_{1}

$\mu_1$ '입니까?

— gung-복직 모니카

@gung :

경우에 해당합니다

x_{2} = μ_{2}

$x_2 = \mu_2$ . 그러나 왜

σ_{11}

$\sigma_{11}$ 과

σ_{22}

$\sigma_{22}$ 관련되어 있습니까?

— eroeijr

자연적인 ( "표준화 된") 단위에서 우리는

쓰고

X_{i} = μ_{1} + σ_{i} Z_{i}

$X_i=\mu_1+\sigma_iZ_i$ 여기서

σ_{i} = \sqrt{σ_{i i}}

$\sigma_i=\sqrt{\sigma_{ii}}$ . 이러한 조건에서 조건부 분포는

E (Z_{1} | Z_{2}) = ρ Z_{2}

$\mathbb{E}(Z_1|Z_2)=\rho Z_2$ 이고

정규 분포입니다

ρ = σ_{12} / (σ_{1} σ_{2}) .

$\rho=\sigma_{12}/(\sigma_1\sigma_2).$ 사실

| ρ | \leq 1

$|\rho|\le 1$ "평균 복귀"또는라고"평균에 회귀"130 년 전으로 거슬러가는이에 광범위한 기술 및 대중 문학이있다.

— whuber

eroeijr, 이 게시물이 당신의 것입니까? (처음에는 '게스트'를 제외하고는 이름에 뚜렷한 유사점이 있습니다.) 귀하의 계정 인 경우 두 계정을 병합하고 큰 보너스를 포인트로 가져와야합니다.

— Glen_b

@Glen_b가 제안했듯이 여러 개의 (등록되지 않은) 계정이있는 경우 stats.stackexchange.com/contact 에서 양식을 작성 하고 병합을 요청하십시오.

— chl

개요

문제의 모든 진술은 타원의 속성으로 이해 될 수 있습니다. 에만 필요한 이변 량 정규 분포에 특정 속성은에 있다는 사실이다 표준 의 이변 량 정규 분포 하는 --for 와 상관있는 -의 조건부 분산 에 의존하지 않는 . (이는 상관 관계가 결여되어 공동 정규 변수에 대한 독립성을 의미한다는 사실의 결과입니다.) $X,Y$ $X$ $Y$ $Y$ $X$

다음 분석은 타원의 속성이 포함 된 것을 정확하게 보여주고 쉽게 기억하기 위해 기본 아이디어와 가능한 가장 간단한 산술을 사용하여 질문의 모든 방정식을 도출합니다.

원형 대칭 분포

질문의 분포는 이변 량 정규 분포 패밀리의 구성원입니다. 이들은 모두 표준 이변 량 표준 인 기본 멤버에서 파생되며, 두 개의 상관되지 않은 표준 정규 분포 (두 좌표를 형성 함)를 설명합니다.

그림 1 : 표준 이변 량 정규 분포

왼쪽은 표준 이변 량 정규 밀도의 릴리프 플롯입니다. 오른쪽은 의사 -3D에서 동일하게 표시되며 앞 부분은 얇아져 있습니다.

이것은 원형 대칭 분포 의 예입니다 . 밀도는 중심점으로부터의 거리에 따라 다르지만 그 점으로부터 멀어지는 방향으로는 변하지 않습니다. 따라서 그래프의 윤곽 (오른쪽)은 원입니다.

그러나 대부분의 다른 이변 량 정규 분포는 원형 대칭이 아니지만 단면이 타원입니다. 이 타원은 많은 이변 량 점 구름의 특징적인 모양을 모델링합니다.

그림 2 : 다른 이변 량 정규 분포

공분산 행렬이있는 이변 량 정규 분포의 초상화입니다. 그것은 상관 계수와 데이터 모델이다. $\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$ $-2/3$

타원을 만드는 방법

가장 오래된 정의에 따른 타원은 원뿔 섹션으로, 다른 평면에 대한 투영에 의해 왜곡 된 원입니다. 프로젝션의 특성을 고려하여 비주얼 아티스트와 마찬가지로 이해하고 계산하기 쉬운 일련의 왜곡으로 분해 할 수 있습니다.

먼저 타원의 긴 축이 될 길이를 따라 올바른 길이가 될 때까지 원을 늘리십시오 (또는 필요한 경우 짜십시오).

1 단계 : 스트레칭

다음으로 단축을 따라이 타원을 꽉 쥐거나 늘립니다.

2 단계 : 짜기

셋째, 중심을 중심으로 최종 방향으로 회전하십시오.

3 단계 : 회전

마지막으로 원하는 위치로 이동하십시오.

4 단계 : 이동

이것들은 모두 아핀 변환입니다. (사실, 처음 세 개는 선형 변환입니다 . 최종 이동으로 정의하면됩니다.) 아핀 변환의 구성은 여전히 정의에 따라 다르기 때문에 원에서 최종 타원까지의 순 왜곡은 아핀 변환입니다. 그러나 다소 복잡 할 수 있습니다.

합성 변환

타원의 (천연) 축에 어떤 일이 일어 났는지 주목 하십시오. 이동 및 압착으로 생성 된 축은 물론 축 자체와 함께 회전 및 이동했습니다. 이 축은 타원 자체의 대칭 축이기 때문에 그려지지 않은 경우에도 쉽게 볼 수 있습니다.

우리는 타원에 대한 이해를 이변 량 정규 패밀리와 같이 왜곡 된 원형 대칭 분포를 이해하는 데 적용하려고합니다. 불행히도 이러한 왜곡에는 문제가 있습니다 . $x$ 와 의 차이를 존중하지 않습니다.있습니다. 축의. 3 단계에서의 회전은 그것을 망칩니다. 희미한를 봐 배경에 그리드 좌표 : 메쉬의 (그리드에 무슨 일이 쇼를 $y$ $1/2$ 왜곡 될 때). 첫 번째 이미지에서 원래 세로선 (실선으로 표시) 사이의 간격이 두 배가됩니다. 두 번째 이미지에서 원래 수평선 사이의 간격 (파선으로 표시)이 1/3만큼 줄어 듭니다. 세 번째 이미지에서는 격자 간격이 변경되지 않지만 모든 선이 회전합니다. 네 번째 이미지에서 위와 오른쪽으로 이동합니다. 최종 결과는 최종 결과를 보여주고이 늘어난, 압착, 회전, 이동 된 그리드를 표시합니다. 상수 좌표 의 원래 실선 은 더 이상 수직이 아닙니다. $x$

핵심 아이디어 --one는이 말을 감히 할 수회귀 요점 는 수직선을 회전시키지 않고 원을 타원으로 왜곡 할 수있는 방법이 있다는 것입니다 . 회전이 범인 이었으므로 추적을 자르고 실제로 회전하는 것처럼 보이지 않고 회전 된 타원 을 만드는 방법을 보여 드리겠습니다 !

비뚤어진 타원

이것은 스큐 변환입니다. 실제로 한 번에 두 가지 작업을 수행합니다.

그것은 방향으로 ( 즉, 의 양으로) 압착된다 . 이것은 축만 남겨둔다 . $y$ $\lambda$ $x$
$(x,y)$ $x$ $\rho$ $(x,y)$ $(x, y+\rho x)$

$x$ $y=\rho x$ $y=x$ $|\rho| \le 1$ $\rho$

$y=x$

$\rho x$ $(1,0)$ $(1,\rho)$
$(\rho, 1)$

이 시점은 어디에서 시작 되었습니까?

$x^2+y^2=1$ $x$ $\rho$ $(\rho, \sqrt{1-\rho^2})$
$(\rho, y)$ $(\rho, \lambda y)$ $(\rho, \lambda y + \rho\times\rho)$

$(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$ $\lambda = \sqrt{1-\rho^2}$ $\rho$

$\rho$ $0,$ $3/10,$ $6/10,$ $9/10,$ 좌에서 우로.

Tableau

$\rho$ ). (색상은 그림에서 다른 밀도의 양을 나타냅니다.)

신청

회귀를 할 준비가되었습니다. 회귀를 수행하는 표준적이고 우아한 (아직 간단한) 방법은 먼저 원래 측정 값을 새로운 측정 단위로 표현하는 것입니다. 우리는 변수를 그 중심에두고 표준 편차를 단위로 사용합니다. 이렇게하면 분포 중심이 원점으로 이동하고 모든 타원형 윤곽이 45도 (위 또는 아래)로 기울어집니다.

$x$ $0$ $x$ $0$ $y$ $\sqrt{1-\rho^2}$ $\rho$ $x$ $\rho x$ $x$

$y$ $0$
$\rho x$ $x$ $\rho x$ $y=\rho x$ 선 것으로 판명되는 회귀 곡선.

$x$ $y=\rho x$ 합니다. 최소 제곱 라인은 회귀 라인과 일치합니다.

이 아름다운 결과는 수직 스큐 변환 이 변경하지 않는다는 $x$ 좌표를 합니다.

사실의 결과입니다.

우리는 더 쉽게 말할 수 있습니다.

$(X,Y)$ $Y|X$ $\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$
$\sqrt{1-\rho^2}$ $\rho x$

$1$ $x$ $1-\rho^2$

$\rho$ $\Sigma$ $X$ $Y$ $XY$ $X$ $Y$ $(X,Y)$

ε = Y - ρ X

$\varepsilon = Y - \rho X$

$\varepsilon$ $0$ $Y$ $0$ $\rho X$ $\rho X$

조건부 분포와 최소 제곱 선을 보여주는 3D 플롯

$x$ $\rho = -1/2$

따라서

E (X Y) = E (X (ρ X + ε)) = ρ E (X^{2}) + E (X ε) = ρ (1) + 0 = ρ .

$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$

$X$ $1$ $X\varepsilon$ $X(-\varepsilon)$ $\varepsilon$ $0$

$\rho$ $X$ $Y$

결론

$x$ $(X,Y)$ $x$ $y$ $\mu_x$ $\mu_y$ $\sigma_x$ $\sigma_y$

$(\mu_x,\mu_y)$
$\{(x, \rho x)\},$
$\rho$ $\sigma_y \rho / \sigma_x$

결과적으로 회귀선의 방정식은

y = \frac{σ_{y} ρ}{σ_{x}} (x - μ_{x}) + μ_{y} .

$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$

$Y|X$ $\sigma_y^2(1-\rho^2)$ $Y'|X'$ $(X',Y')$ $X'=(X-\mu_X)/\sigma_x$ $Y'=(Y-\mu_Y)/\sigma_Y$

$Y'|X'$ $1$

$\Sigma$ $\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$ $\sigma_{22}=\sigma_y^2,$ $Y|X$

σ_{y}^{2} (1 - ρ^{2}) = σ_{22} (1 - {(\frac{σ_{12}}{\sqrt{σ_{11} σ_{22}}})}^{2}) = σ_{22} - \frac{σ_{12}^{2}}{σ_{11}} .

$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$

기술 노트

$y$

(\begin{array}{cc} 1 & ρ \\ ρ & 1 \end{array}) = A A^{'}

$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$

어디

A = (\begin{array}{cc} 1 & 0 \\ ρ & \sqrt{1 - ρ^{2}} \end{array}) .

$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$

훨씬 더 잘 알려진 제곱근은 처음에 설명 된 것입니다 (뒤틀림 변형 대신 회전 포함). 단일 값 분해에 의해 생성 된 것이며 주요 구성 요소 분석 (PCA)에서 중요한 역할을합니다.

(\begin{array}{cc} 1 & ρ \\ ρ & 1 \end{array}) = B B^{'};

$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$

B = Q (\begin{array}{cc} \sqrt{ρ + 1} & 0 \\ 0 & \sqrt{1 - ρ} \end{array}) Q^{'}

$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$

$\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$ $45$ 도 회전.

따라서 PCA와 회귀의 차이는 상관 행렬의 두 특수 제곱근의 차이로 귀속됩니다.

— 우버
소스

아름다운 사진과 훌륭한 설명. 업데이트에 불완전한 문장이 몇 개있었습니다 (기본적으로 말하려는 내용을 알고 있었지만 최종 문구에 대해서는 언급하지 않은 것처럼).

— 추기경

@ 추기경 감사합니다. 나는 이것을 다시 읽고 불가피한 오타뿐만 아니라 그러한 것들을 찾을 것입니다. 당신은 박람회에서 약간의 격차와 같이 당신이 확실히 알아 차린 다른 것들을 지적하기에는 너무 친절합니다. 가장 큰 점은이 타원들이 45도 각도 (동일하게, 단위 사각형에 새겨 져 있음)에 있다는 것을 보여주지 않았다는 것입니다. 나는 단순히 그것을 가정했습니다. 나는 아직도 간단한 데모를 찾고 있습니다. 다른 하나는 스큐 변형이 원래의 스트레치-스퀴즈-회전 시프트 와 다른 분포를 생성 할 수 있다는 점을 걱정할 수 있지만 그렇지 않은 것을 쉽게 보여줍니다.

— whuber

정말 흥미 롭습니다. 시간을내어 작성해 주셔서 감사합니다.

— Bill

응용 프로그램의 첫 번째 단락에서 "우리는 그것들을 그들의 중심에 놓고 표준 편차를 단위로 사용합니다. 이것은 분포의 중심을 원점으로 이동시키고 모든 타원형 윤곽을 45 도로 기울입니다." t 변수를 중심에 두는 것이 어떻게 중심을 원점으로 이동시키고 45도에 정렬시키는 지 이해합니까?

— Kaushal28

f (X, Y) = e^{\frac{1}{2} (x^{2} + y^{2})}

$f(X,Y)=e^{\frac{1}{2}{(x^2 + y^2)}}$

f (X, Y)

$f(X,Y)$

f (X) f (Y)

$f(X)f(Y)$

$Y$ $X=x_i$ $X$ $X_1$ $X_2$ $0$ $X_2$ $x_1$ 다변량 분포를 '분할'하는 곳. 아래 그림을 고려하십시오.

여기에 이미지 설명을 입력하십시오

$X_1$ $X_2$ $X_2$ $X_1$ $\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$ .

$\sigma_{22}$ $\Sigma$ $X_2$ $\sigma^2$ $\sigma$

$\hat y_i$

{\hat{β}}_{1} = \frac{Cov (x, y)}{Var (x)}

$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$

^{σ_{12}} /_{σ_{22}}

$^{\sigma_{12}}/_{\sigma_{22}}$

μ_{X_{2} | X_{1} = x_{i}}

$\mu_{X_2|X_1=x_i}$

μ_{X_{2}}

$\mu_{X_2}$

μ_{X_{2}}

$\mu_{X_2}$

x_{2 i}

$x_{2i}$

X_{1}

$X_1$

X_{2}

$X_2$

— gung-복직 모니카
소스

더 많은 변수를 조건으로하면 어떻게됩니까? 평균과 분산에서 추가 항을 더하고 뺄까요?

Y

$Y$

X

$\bf X$

{\hat{y}}_{i} = X_{i} \hat{β}

$\hat y_i=\bf X_i \boldsymbol{\hat\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\boldsymbol{\hat\beta}=(\bf X^TX)^{-1}X^TY$

그래프를 생성하기 위해 무엇을 사용 했습니까? 수학?

— mpiktas

@mpiktas, 내 그래프 또는 whuber? 나는 그의 티카 믿고,하지만 난 / R. (그래도 미운 코드 ...) w 위의 하나 만든

— 분석 재개 모니카 - 궁

@mpiktas, 내 코드가 "굉장한"것으로 묘사되어야한다고 상상할 수 없습니다 ... 일반 곡선은 /로 그려집니다 dnorm(y). 간단히 25&에 출력을 추가하고 45로 사용하십시오 x.

— gung-모니 티 복원

$X_1$ $X_2$ $\sigma_{1,2}>0$ $X_2$ $X_2$ $X_1$ $X_1$ .

$X_2=\mathit{x}_2>\mu_2$ $X_2$ $X_1$ $\sigma_{1,2}>0$ $X_1$ $X_2$ $X_2$ $X_1$

E {X_{1} | X_{2} = x_{2}} = μ_{1} + \frac{σ_{1, 2}}{σ_{2, 2}} (x_{2} - μ_{2})

$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$

X_{2}

$X_2$

E {X_{1} | X_{2} = x_{2}} > μ_{1}

$E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$

$X_1$ $X_2$

B L P {X_{1} | X_{2} = x_{2}} = μ_{1} + \frac{σ_{1, 2}}{σ_{2, 2}} (x_{2} - μ_{2})

$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$

B L P

$BLP$

— 계산서
소스

x_{2} - μ_{2}

$x_2-\mu_2$

σ_{12} / σ_{22}

$\sigma_{12}/\sigma_{22}$

x_{2} > μ_{2}

$\mathit{x}_2>\mu_2$

E (X_{1} | X_{2} = x_{2}) < μ_{1}

$E(X_1|X_2=\mathit{x}_2)<\mu_1$

σ_{1, 2} > 0

$\sigma_{1,2}>0$

"직관적"은 "비 정량적"을 의미하지 않습니다. 두 사람이 함께 갈 수 있습니다. 정량적 결과를 제공하는 직관적 인 주장을 찾기가 어려운 경우가 많지만 종종 수행 할 수 있으며 그러한 주장을 찾는 과정이 항상 밝아집니다.

— whuber

마지막 단락 : Re : 정규 분포가 그렇게 특별하지 않다는 것을 알았습니다. 원형 대칭 분포 의 아핀 변환으로 생성 된 패밀리 는 특별한 것입니다 (매우 많음).

— whuber

@ whuber 꽤 흥미 롭습니다. 당신은 링크 또는 인용이 있습니까?

— Bill