역 공분산 또는 정밀 행렬을 해석하는 방법은 무엇입니까?

64

농도 매트릭스 또는 정밀 매트릭스라고도하는 역 공분산 행렬의 요소 해석을 논의하는 참조를 누군가가 지적 할 수 있는지 궁금합니다.

Cox와 Wermuth의 Multivariate Dependencies에 액세스 할 수 있지만 찾고있는 것은 역행렬의 각 요소에 대한 해석입니다. Wikipedia 상태 : "정밀 행렬의 요소는 부분 상관 관계 및 부분 분산 측면에서 해석됩니다." 이 페이지로 연결됩니다. 선형 회귀를 사용하지 않는 해석이 있습니까? 공분산 또는 기하학 측면에서 IE?

interpretation covariance-matrix

— 빈 응 우옌
소스

4

Wikipedia 페이지 전체를 읽었습니까? 정규 분포에 대한 형상 및 조건부 독립성에 대한 섹션이 있습니다. 이 책 에서 더 많은 것을 찾을 수 있습니다 .

— NRH

@NRH 지오메트리는 부분 상관 관계 페이지에 설명되어 있는데, 이것이 농도 매트릭스와 어떻게 관련이 있는지 잘 모르겠습니다. 그래픽 모델 책에 농도 매트릭스의 요소에 대한 설명이 있습니까? 감사!

— Vinh Nguyen

아래 답변을 참조하십시오.

— NRH

2

참조 왜 공분산 행렬의 반전 확률 변수 사이의 부분 상관 관계를 얻을 수 있습니까?

— 아메바는

34

기본적으로 두 가지 말이 있습니다. 첫 번째는 다변량 정규 분포 (여기서는 평균 0)의 밀도를 보면 비례한다는 것입니다. 여기서 은 공분산 행렬의 역수이며 정밀도라고도합니다. 이 행렬은 일정한 양의로 정의하고 내적 에 . 직교성 개념에 특정 의미를 부여하고 정규 분포와 관련된 표준을 정의하는 결과 형상은 중요하며, 예를 들어 주어진 형상에 비추어 볼 때 필요한 LDA 의 형상 내용을 이해해야합니다. 으로, ~에 의하여

\exp (- \frac{1}{2} x^{T} P x)

$\exp\left(-\frac{1}{2}x^T P x\right)$

P = Σ^{- 1}

$P = \Sigma^{-1}$

(x, y) \mapsto x^{T} P y

$(x,y) \mapsto x^T P y$

R^{p}

$\mathbb{R}^p$

P

$P$ .

라고 할 수있는 다른 일이 부분 상관 관계가에서 직접 읽을 수 있다는 것입니다 를 참조하십시오 여기 . 동일한 Wikipedia 페이지에서 부분 상관 관계와 의 항목 이 코사인 각도로 기하학적으로 해석됩니다. 무엇 아마도 부분 상관의 맥락에서 중요한 부분 사이의 상관 관계이다 및 유일한 항목 인 경우 0이면 에서 제로이다. 정규 분포의 경우 변수 및 는 조건부 독립적입니다. $P$ $P$ $X_i$ $X_j$ $i,j$ $P$ $X_i$ $X_j$ 다른 모든 변수가 주어집니다. 이것은 위의 의견에서 언급 한 Steffens 책의 모든 것입니다. 조건부 독립 및 그래픽 모델. 정규 분포를 상당히 완벽하게 처리하지만 따르기가 쉽지 않을 수 있습니다.

— NRH
소스

1

부분적 상관 관계에 대해 Wikipedia 공식에 약간 혼란 스럽습니다. (빼기 부호 포함)를 사용하는 여러 구현을 보았습니다 . Wikipedia 공식이 정확합니까?

- \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

${\bf\color{red} -} \frac{p_{ij}}{ \sqrt{p_{ii} p_{jj}}}$

— Sheljohn

1

@ Sh3ljohn, 당신은 완벽하게 맞습니다. Wikipedia 수식에 빼기가 없습니다.

— NRH

첫 번째 답변이 정밀 행렬보다 Fisher 정보에 대해 더 많이 이야기하고 있지 않습니까? 나는 그들이 정말로 특별하고 훌륭한 가우스 사례에서 일치한다는 것을 의미하지만, 일반적으로 일치하지는 않습니다. 분명히 두 개념 (Cramer-Rao 하한, MLE의 점근 분포 등)과 관련이 있지만 그것들을 혼동시키는 것이 도움이되지 않는 것 같습니다 (특히,이 정보는 Fisher 정보를 구별하는 방법에 대한 질문을 찾았습니다. 역 상관 행렬).

— Chill2Macht

24

나는이 확률 적 그래픽 모델을 좋아 한다. 모든 관련 변수가 다변량 가우시안이라는 가정하에 X가 Z와 주어진 Y와 조건 적으로 독립적 인 경우에만 부분 상관 관계가 0이라는 NRH의 요점을 설명하는 것이 좋다. :

여기에 이미지 설명을 입력하십시오

( 는 가우스 랜덤 변수입니다. T와 k는 무시하십시오) $y_i$

출처 : David MacKay의 25 분 가우스 프로세스 기본 사항에 대한 이야기 .

— 프랭크 데논 코트
소스

12

부분 상관 관계에 기반한 해석은 모든 다변량 분포에 적용되므로 통계적으로 가장 유용합니다. 다변량 정규 분포의 특수한 경우, 부분 상관 0이 조건부 독립에 해당합니다.

공분산 행렬의 항목에 대한 농도 행렬의 항목에 대한 공식을 얻기 위해 Schur 보수를 사용하여이 해석을 도출 할 수 있습니다. http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics를 참조하십시오 .

— vqv
소스

11

공분산 행렬은 모든 변수 사이의 관계를 나타낼 수 있으며 역공 분산은 요소와 이웃 요소와의 관계를 나타냅니다 (wikipedia에서 부분 / 쌍 현명한 관계를 말했듯이).

난에서 다음 예제를 빌려 여기에 다른 사람이 할 수있는 마우스 오른쪽 간다, 하나가 바로가는 경우 공분산 행렬은, 모든 대중의 상관 관계를 포함하는 것, 5 질량이 6 개 스프링과 함께 주위와 vowelling 연결되어 상상, 24:10에. 그러나 역공 분산 행렬은 동일한 스프링 (이웃)으로 연결된 질량의 관계를 나타내며 많은 0을 포함하며 필요하지 않은 양의 값을 포함합니다.

— 사용자
소스

1

이것은 비디오에서 어디에 설명되어 있습니까? 한 시간이 걸립니다. 감사!

— Vinh Nguyen

당신은 맞습니다, 24시 10 분에, 저는 그것이 cov matrix의 성질과 그 역을 이해하는 가장 좋은 예라고 생각합니다

— user4581

5

Bar-Shalom and Fortmann (1988)은 다음과 같이 칼만 필터링의 맥락에서 역공 분산을 언급합니다.

... [T] 역 공분산 (또는 정보 매트릭스 )에 대한 재귀가 있습니다.

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

... 정보 필터 [8, 29, 142] 로 알려진 완전한 예측 및 업데이트 방정식 세트 는 역 공분산 및 변환 된 상태 벡터 대해 개발 될 수 있습니다. . $\mathbf{P}^{-1}\hat{\mathbf{x}}$

이 책은 Google 에서 색인됩니다 .

— 밝은 별
소스