다변량 정규 분포의 조건부 분포 도출


114

다변량 법선 벡터 있습니다. 칸막이 고려 \ boldsymbol의 \ (μ){\ boldsymbol Y를}= \ {bmatrix} \ boldsymbol \ mu_1 \\ \ boldsymbol \ mu_2 \ 단부 {bmatrix}을 시작 \ boldsymbol MU \ {{\ boldsymbol Y가} = \ {bmatrix} 시작할 \ boldsymbol y} _1 \\ {\ boldsymbol y} _2 \ end {bmatrix}YN(μ,Σ)μY

μ=[μ1μ2]
Y=[y1y2]

유사한 파티션 Σ

[Σ11Σ12Σ21Σ22]
이어서, (y1|y2=a) 은 두 번째로 주어진 첫 번째 파티션의 조건부 분포는 N(μ¯,Σ¯) 평균
μ¯=μ1+Σ12Σ221(aμ2)
및 공분산 행렬
Σ¯=Σ11Σ12Σ221Σ21

실제로 이러한 결과는 Wikipedia에서도 제공되지만 μ¯Σ¯ 가 어떻게 도출 되는지 잘 모릅니다 . 이러한 결과는 Kalman 필터 를 도출하는 데 중요한 통계 공식이므로 중요 합니다 . 누구든지 μ¯\ overline {\ Sigma} 를 도출하는 파생 단계를 제공 Σ¯합니까? 대단히 감사합니다!


24
아이디어는 조건부 밀도 입니다. 관절 은 이변 량 법선이고 한계 는 법선입니다. 값을 바꾸고 불쾌한 대수를 수행하면됩니다. 이 메모 는 도움이 될 수 있습니다. 여기 에 완전한 증거가 있습니다. f(y1|y2=a)=fY1,Y2(y1,a)fY2(a)fY1,Y2fY2

1
두 번째 링크는 질문에 답변합니다 (+1). 왜 @Procrastinator라고 대답하지 않습니까?
gui11aume

1
나는 그것을 깨닫지 못했지만 조건부 PCA 에서이 방정식을 암시 적으로 사용하고 있다고 생각합니다. 조건부 PCA에는 선택하여 조건부 공분산 행렬을 효과적으로 계산 하는 변환 합니다.(IA(AA)1A)Σ
John

@ Procrastinator-접근하려면 실제로 Woodbury 매트릭스 아이덴티티와 블록 단위 매트릭스 반전에 대한 지식이 필요합니다. 이로 인해 불필요하게 복잡한 대수 행렬이 생성됩니다.
확률 론적

2
@probabilityislogic 사실 결과는 내가 제공 한 링크에서 입증됩니다. 그러나 다른 방법보다 복잡하다고 생각되면 존중 할 만합니다. 또한, 나는 내 의견에 최적의 솔루션을 제공하려고 시도하지 않았습니다 . 또한 내 의견은 Macro의 답변 이전에 나타났습니다.

답변:


111

의견의 Procrastinator의 링크 (+1)에서와 같이 무차별 힘으로 조건부 밀도를 명시 적으로 계산하여 증명할 수 있습니다. 그러나 다변량 정규 분포의 모든 조건부 분포가 정규적이라는 정리도 있습니다. 따라서 남은 것은 평균 벡터와 공분산 행렬을 계산하는 것입니다. 나는 우리가 대학의 시계열 수업에서 이것을 세 번째 변수를 영리하게 정의하고 그 속성을 사용하여 링크의 무차별 대입 솔루션보다 더 간단하게 결과를 도출함으로써 (대수학에 익숙한 한) 기억했습니다. 나는 메모리에서 가고 있지만 다음과 같았습니다.


하자 이 될 제 파티션 번째. 이제 여기서 . 이제 우리는 쓸 수 있습니다x1x2z=x1+Ax2A=Σ12Σ221

cov(z,x2)=cov(x1,x2)+cov(Ax2,x2)=Σ12+Avar(x2)=Σ12Σ12Σ221Σ22=0

따라서 와 는 서로 관련이 없으며 공동으로 정상이므로 독립적 입니다. 이제 이므로 분명히 다음과 같습니다.zx2E(z)=μ1+Aμ2

E(x1|x2)=E(zAx2|x2)=E(z|x2)E(Ax2|x2)=E(z)Ax2=μ1+A(μ2x2)=μ1+Σ12Σ221(x2μ2)

첫 번째 부분을 증명합니다. 공분산 행렬의 경우

var(x1|x2)=var(zAx2|x2)=var(z|x2)+var(Ax2|x2)Acov(z,x2)cov(z,x2)A=var(z|x2)=var(z)

이제 거의 끝났습니다.

var(x1|x2)=var(z)=var(x1+Ax2)=var(x1)+Avar(x2)A+Acov(x1,x2)+cov(x2,x1)A=Σ11+Σ12Σ221Σ22Σ221Σ212Σ12Σ221Σ21=Σ11+Σ12Σ221Σ212Σ12Σ221Σ21=Σ11Σ12Σ221Σ21

두 번째 부분을 증명합니다.

참고 : 여기에 사용 된 행렬 대수에 익숙하지 않은 사람들에게 이것은 훌륭한 자료 입니다.

편집 : 여기에 사용 된 하나 개의 특성이 매트릭스 요리 책 (풍어 @FlyingPig)에없는입니다 공분산 행렬에 대한 위키 피 디아 페이지에있는 건물 6 : 입니다 임의의 두 벡터의 , 스칼라의 경우 물론 그러나 벡터의 경우 행렬이 다르게 배열되는 한 서로 다릅니다.x,y

var(x+y)=var(x)+var(y)+cov(x,y)+cov(y,x)
cov(X,Y)=cov(Y,X)

이 훌륭한 방법에 감사드립니다! 대수학에 익숙하지 않은 행렬이 하나 있는데 를 여는 공식은 어디에서 찾을 수 있습니까? 보낸 링크에서 찾지 못했습니다. var(x1+Ax2)
날으는 돼지

@Flyingpig, 천만에요. 나는 이것이 매트릭스 요리 책에 기록되지 않은 임의의 벡터의 합의 분산의 추가 속성과 결합 된 방정식 의 결과라고 생각합니다. 그! (291),(292)
매크로

13
이것은 매우 좋은 대답 (+1)이지만 접근 순서의 측면에서 개선 될 수 있습니다. 우리는 와 독립적 / 관련이없는 전체 벡터 의 선형 조합 를 . 이는 및 를 의미 하는 라는 사실을 사용할 수 있기 때문 입니다. 이것들은 및 대한 표현식으로 이어집니다 . 이것은 우리가 취해야 함을 의미합니다 . 이제 합니다. 만약 가 뒤집을 수 없다면z=Cx=C1x1+C2x2x2p(z|x2)=p(z)var(z|x2)=var(z)E(z|x2)=E(z)var(C1x1|x2)E(C1x1|x2)C1=Icov(z,x2)=Σ12+C2Σ22=0Σ22C2=Σ12Σ221 .
chanceislogic

1
@jakeoung - 그것은되지 증명 하는 우리가 우리가 알고 싶은 변수를 포함하는 식을 얻을 수 있도록이 값으로 설정됩니다. C1=I
probabilityislogic

1
@jakeoung 나는 또한 그 진술을 이해하지 못합니다. 이런 방식으로 이해 : 만약 , 다음 . 따라서 의 값 은 어떻게 든 임의의 척도입니다. 간단하게하기 위해 로 설정했습니다 . cov(z,x2)=0cov(C11z,x2)=C11cov(z,x2)=0C1C1=I
Ken T

6

Macro 의 대답 은 훌륭하지만 여기에 조건부 분포를 주장하는 외부 정리를 사용할 필요가없는 더 간단한 방법이 있습니다. 여기에는 조건 문의 인수 변수를 분리하는 형식으로 Mahanalobis 거리를 작성하고 그에 따라 정규 밀도를 인수 분해하는 작업이 포함됩니다.


조건부 벡터에 대한 Mahanalobis 거리 다시 쓰기 : 이 파생에서는 Schur 보완 사용하는 행렬 반전 공식을 사용합니다. . 먼저 블록 단위 반전 공식 을 사용하여 역 분산 행렬을 다음과 같이 작성합니다.ΣS=Σ11Σ12Σ221Σ21

Σ1=[Σ11Σ12Σ21Σ22]1=[Σ11Σ12Σ21Σ22],

어디:

Σ11=ΣS1 Σ12=ΣS1Σ12Σ221,Σ21=Σ221Σ12ΣS1Σ22=Σ221Σ12ΣS1Σ12Σ221. 

이 공식을 사용하여 Mahanalobis 거리를 다음과 같이 쓸 수 있습니다.

(yμ)TΣ1(yμ)=[y1μ1y2μ2]T[Σ11Σ12Σ21Σ22][y1μ1y2μ2]=(y1μ1)TΣ11(y1μ1)+(y1μ1)TΣ12(y2μ2)+(y2μ2)TΣ21(y1μ1)+(y2μ2)TΣ22(y2μ2)=(y1(μ1+Σ12Σ221(y2μ2)))TΣS1(y1(μ1+Σ12Σ221(y2μ2)))=(y1μ)TΣ1(y1μ),

어디:

μμ1+Σ12Σ221(y2μ2),ΣΣ11Σ12Σ221Σ21.

이 결과는 랜덤 벡터의 정규성을 가정하지 않는 일반적인 결과입니다. 그것은 Mahanalobis 거리를 재구성하는 유용한 방법을 제공하여 분해의 벡터 중 하나에 대해서만 2 차 형태가되도록합니다 (다른 하나는 평균 벡터 및 분산 행렬에 흡수됨).


조건부 분포 도출 : 이제 Mahanalobis 거리에 대한 위의 양식을 가지므로 나머지는 쉽습니다. 우리는 :

p(y1|y2,μ,Σ)y1p(y1,y2|μ,Σ)=N(y|μ,Σ)y1exp(12(yμ)TΣ1(yμ))=exp(12(y1μ)TΣ1(y1μ))y1N(y1|μ,Σ).

이는 조건부 분포가 지정된 조건부 평균 벡터와 조건부 분산 행렬을 사용하여 다변량 정규도임을 확인합니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.