다변량 정규 분포의 조건부 분포 도출


114

다변량 법선 벡터 있습니다. 칸막이 고려 \ boldsymbol의 \ (μ) 및 {\ boldsymbol Y를} 로 = \ {bmatrix} \ boldsymbol \ mu_1 \\ \ boldsymbol \ mu_2 \ 단부 {bmatrix}을 시작 \ boldsymbol MU \ {{\ boldsymbol Y가} = \ {bmatrix} 시작할 \ boldsymbol y} _1 \\ {\ boldsymbol y} _2 \ end {bmatrix}Y∼N(μ,Σ)μY

μ=[μ1μ2]
Y=[y1y2]

유사한 파티션 Σ 에

[Σ11Σ12Σ21Σ22]
이어서, (y1|y2=a) 은 두 번째로 주어진 첫 번째 파티션의 조건부 분포는 N(μ¯,Σ¯) 평균
μ¯=μ1+Σ12Σ22−1(a−μ2)
및 공분산 행렬
Σ¯=Σ11−Σ12Σ22−1Σ21

실제로 이러한 결과는 Wikipedia에서도 제공되지만 μ¯ 및 Σ¯ 가 어떻게 도출 되는지 잘 모릅니다 . 이러한 결과는 Kalman 필터 를 도출하는 데 중요한 통계 공식이므로 중요 합니다 . 누구든지 μ¯ 및 \ overline {\ Sigma} 를 도출하는 파생 단계를 제공 Σ¯합니까? 대단히 감사합니다!


24
아이디어는 조건부 밀도 입니다. 관절 은 이변 량 법선이고 한계 는 법선입니다. 값을 바꾸고 불쾌한 대수를 수행하면됩니다. 이 메모 는 도움이 될 수 있습니다. 여기 에 완전한 증거가 있습니다. f(y1|y2=a)=fY1,Y2(y1,a)fY2(a)fY1,Y2fY2

1
두 번째 링크는 질문에 답변합니다 (+1). 왜 @Procrastinator라고 대답하지 않습니까?
— gui11aume

1
나는 그것을 깨닫지 못했지만 조건부 PCA 에서이 방정식을 암시 적으로 사용하고 있다고 생각합니다. 조건부 PCA에는 선택하여 조건부 공분산 행렬을 효과적으로 계산 하는 변환 합니다.(I−A′(AA′)−1A)Σ
— John

@ Procrastinator-접근하려면 실제로 Woodbury 매트릭스 아이덴티티와 블록 단위 매트릭스 반전에 대한 지식이 필요합니다. 이로 인해 불필요하게 복잡한 대수 행렬이 생성됩니다.
— 확률 론적

2
@probabilityislogic 사실 결과는 내가 제공 한 링크에서 입증됩니다. 그러나 다른 방법보다 복잡하다고 생각되면 존중 할 만합니다. 또한, 나는 내 의견에 최적의 솔루션을 제공하려고 시도하지 않았습니다 . 또한 내 의견은 Macro의 답변 이전에 나타났습니다.

답변:


111

의견의 Procrastinator의 링크 (+1)에서와 같이 무차별 힘으로 조건부 밀도를 명시 적으로 계산하여 증명할 수 있습니다. 그러나 다변량 정규 분포의 모든 조건부 분포가 정규적이라는 정리도 있습니다. 따라서 남은 것은 평균 벡터와 공분산 행렬을 계산하는 것입니다. 나는 우리가 대학의 시계열 수업에서 이것을 세 번째 변수를 영리하게 정의하고 그 속성을 사용하여 링크의 무차별 대입 솔루션보다 더 간단하게 결과를 도출함으로써 (대수학에 익숙한 한) 기억했습니다. 나는 메모리에서 가고 있지만 다음과 같았습니다.


하자 이 될 제 파티션 번째. 이제 여기서 . 이제 우리는 쓸 수 있습니다x1x2z=x1+Ax2A=−Σ12Σ22−1

cov(z,x2)=cov(x1,x2)+cov(Ax2,x2)=Σ12+Avar(x2)=Σ12−Σ12Σ22−1Σ22=0

따라서 와 는 서로 관련이 없으며 공동으로 정상이므로 독립적 입니다. 이제 이므로 분명히 다음과 같습니다.zx2E(z)=μ1+Aμ2

E(x1|x2)=E(z−Ax2|x2)=E(z|x2)−E(Ax2|x2)=E(z)−Ax2=μ1+A(μ2−x2)=μ1+Σ12Σ22−1(x2−μ2)

첫 번째 부분을 증명합니다. 공분산 행렬의 경우

var(x1|x2)=var(z−Ax2|x2)=var(z|x2)+var(Ax2|x2)−Acov(z,−x2)−cov(z,−x2)A′=var(z|x2)=var(z)

이제 거의 끝났습니다.

var(x1|x2)=var(z)=var(x1+Ax2)=var(x1)+Avar(x2)A′+Acov(x1,x2)+cov(x2,x1)A′=Σ11+Σ12Σ22−1Σ22Σ22−1Σ21−2Σ12Σ22−1Σ21=Σ11+Σ12Σ22−1Σ21−2Σ12Σ22−1Σ21=Σ11−Σ12Σ22−1Σ21

두 번째 부분을 증명합니다.

참고 : 여기에 사용 된 행렬 대수에 익숙하지 않은 사람들에게 이것은 훌륭한 자료 입니다.

편집 : 여기에 사용 된 하나 개의 특성이 매트릭스 요리 책 (풍어 @FlyingPig)에없는입니다 공분산 행렬에 대한 위키 피 디아 페이지에있는 건물 6 : 입니다 임의의 두 벡터의 , 스칼라의 경우 물론 그러나 벡터의 경우 행렬이 다르게 배열되는 한 서로 다릅니다.x,y

var(x+y)=var(x)+var(y)+cov(x,y)+cov(y,x)
cov(X,Y)=cov(Y,X)

이 훌륭한 방법에 감사드립니다! 대수학에 익숙하지 않은 행렬이 하나 있는데 를 여는 공식은 어디에서 찾을 수 있습니까? 보낸 링크에서 찾지 못했습니다. var(x1+Ax2)
— 날으는 돼지

@Flyingpig, 천만에요. 나는 이것이 매트릭스 요리 책에 기록되지 않은 임의의 벡터의 합의 분산의 추가 속성과 결합 된 방정식 의 결과라고 생각합니다. 그! (291),(292)
— 매크로

13
이것은 매우 좋은 대답 (+1)이지만 접근 순서의 측면에서 개선 될 수 있습니다. 우리는 와 독립적 / 관련이없는 전체 벡터 의 선형 조합 를 . 이는 및 를 의미 하는 라는 사실을 사용할 수 있기 때문 입니다. 이것들은 및 대한 표현식으로 이어집니다 . 이것은 우리가 취해야 함을 의미합니다 . 이제 합니다. 만약 가 뒤집을 수 없다면z=Cx=C1x1+C2x2x2p(z|x2)=p(z)var(z|x2)=var(z)E(z|x2)=E(z)var(C1x1|x2)E(C1x1|x2)C1=Icov(z,x2)=Σ12+C2Σ22=0Σ22C2=−Σ12Σ22−1 .
— chanceislogic

1
@jakeoung - 그것은되지 증명 하는 우리가 우리가 알고 싶은 변수를 포함하는 식을 얻을 수 있도록이 값으로 설정됩니다. C1=I
— probabilityislogic

1
@jakeoung 나는 또한 그 진술을 이해하지 못합니다. 이런 방식으로 이해 : 만약 , 다음 . 따라서 의 값 은 어떻게 든 임의의 척도입니다. 간단하게하기 위해 로 설정했습니다 . cov(z,x2)=0cov(C1−1z,x2)=C1−1cov(z,x2)=0C1C1=I
— Ken T

6

Macro 의 대답 은 훌륭하지만 여기에 조건부 분포를 주장하는 외부 정리를 사용할 필요가없는 더 간단한 방법이 있습니다. 여기에는 조건 문의 인수 변수를 분리하는 형식으로 Mahanalobis 거리를 작성하고 그에 따라 정규 밀도를 인수 분해하는 작업이 포함됩니다.


조건부 벡터에 대한 Mahanalobis 거리 다시 쓰기 : 이 파생에서는 Schur 보완 사용하는 행렬 반전 공식을 사용합니다. . 먼저 블록 단위 반전 공식 을 사용하여 역 분산 행렬을 다음과 같이 작성합니다.ΣS=Σ11−Σ12Σ22−1Σ21

Σ−1=[Σ11Σ12Σ21Σ22]−1=[Σ11∗Σ12∗Σ21∗Σ22∗],

어디:

Σ11∗=ΣS−1 Σ12∗=−ΣS−1Σ12Σ22−1,Σ21∗=−Σ22−1Σ12ΣS−1Σ22∗=Σ22−1Σ12ΣS−1Σ12Σ22−1. 

이 공식을 사용하여 Mahanalobis 거리를 다음과 같이 쓸 수 있습니다.

(y−μ)TΣ−1(y−μ)=[y1−μ1y2−μ2]T[Σ11∗Σ12∗Σ21∗Σ22∗][y1−μ1y2−μ2]=(y1−μ1)TΣ11∗(y1−μ1)+(y1−μ1)TΣ12∗(y2−μ2)+(y2−μ2)TΣ21∗(y1−μ1)+(y2−μ2)TΣ22∗(y2−μ2)=(y1−(μ1+Σ12Σ22−1(y2−μ2)))TΣS−1(y1−(μ1+Σ12Σ22−1(y2−μ2)))=(y1−μ∗)TΣ∗−1(y1−μ∗),

어디:

μ∗≡μ1+Σ12Σ22−1(y2−μ2),Σ∗≡Σ11−Σ12Σ22−1Σ21.

이 결과는 랜덤 벡터의 정규성을 가정하지 않는 일반적인 결과입니다. 그것은 Mahanalobis 거리를 재구성하는 유용한 방법을 제공하여 분해의 벡터 중 하나에 대해서만 2 차 형태가되도록합니다 (다른 하나는 평균 벡터 및 분산 행렬에 흡수됨).


조건부 분포 도출 : 이제 Mahanalobis 거리에 대한 위의 양식을 가지므로 나머지는 쉽습니다. 우리는 :

p(y1|y2,μ,Σ)∝y1p(y1,y2|μ,Σ)=N(y|μ,Σ)∝y1exp⁡(−12(y−μ)TΣ−1(y−μ))=exp⁡(−12(y1−μ∗)TΣ∗−1(y1−μ∗))∝y1N(y1|μ∗,Σ∗).

이는 조건부 분포가 지정된 조건부 평균 벡터와 조건부 분산 행렬을 사용하여 다변량 정규도임을 확인합니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.