두 공분산 행렬 간의 유사성 또는 거리 측정

28

두 대칭 공분산 행렬 (모두 같은 치수를 가짐) 사이에 유사성 또는 거리 측정 값이 있습니까?

나는 여기서 두 확률 분포의 KL 발산 또는 행렬에 적용되는 것을 제외하고 벡터 사이의 유클리드 거리와의 유사성을 생각하고 있습니다. 유사성 측정이 상당히 많을 것 같습니다.

이상적으로 두 공분산 행렬이 동일하다는 귀무 가설을 테스트하고 싶습니다.

— 람 알루 루아
소스

3

이 질문에 대한 답변 : quant.stackexchange.com/q/121/108 이 다소 유용 할 수 있습니다.

— shabbychef

2

링크 우수 질문과 답변 - 감사 - 나는 :)가는 곳 예이다

— 램 Ahluwalia

2

관련 질문 : 분산 공분산 행렬의 동질성을 평가하기위한 진단 플롯 . 관련 논문 : 공분산 행렬 비교를위한 간단한 절차 .

— amoeba는 Reinstate Monica

21

어떤 규범 사용할 수 있습니다 $\| A-B \|_p$ ( 다양한 규범에 대한 Wikipedia 참조 ; 제곱 거리의 합의 제곱근, $\sqrt{\sum_{i,j} (a_{ij}-b_{ij})^2}$ 에서의 Frobenius 규범 불리는 다른이다 $L_2$ 의 가장 큰 고유 값의 제곱근이고 규범 $(A-B)^2$ 이지만의 코스가 것 동일한 토폴로지를 생성하십시오). 동일한 평균 (예 : 0)을 사용하는 두 정규 분포와 두 특정 공분산 행렬 사이의 KL 거리는Wikipedia에서도 $\frac12 [ \mbox{tr} (A^{-1}B) - \mbox{ln}( |B|/|A| ) ]$ .

편집 : 행렬 중 하나가 모형 암시 행렬이고 다른 행렬이 표본 공분산 행렬 인 경우 물론 둘 사이의 우도 비 검정을 구성 할 수 있습니다. 간단한 구조에 대한 이러한 테스트를 개인적으로 좋아하는 컬렉션은 Rencher (2002) 다변량 분석 방법에 나와 있습니다. 보다 진보 된 사례는 공분산 구조 모델링에서 다루어 지며 , 여기서 합리적인 출발점은 Bollen (1989) Latent Variables를 사용한 구조 방정식입니다 .

— StasK
소스

내가 문제가

: 당신이 순열 경우는 같은 값을 제공하지 않습니다 와

(실제 거리가 대칭이어야한다 ).

1 / 2 (tr (A^{- 1} B) - \log (| B | / | A |))

$1/2(\verb+tr+(A^{-1}B)-\log(|B|/|A|))$

A

$A$

B

$B$

— user603

나는

문제 가 있습니다. 또한, 당신은 어떻게 든 (그들은 매우 다른 단위로 측정 될 수있다) 당신의 행렬을 확장해야한다, 또한,이 두 공분산 행렬 사이의 거리가 대응하는 상관 행렬 사이의 거리와 동일 할 것을 요구하는 자연스러운 것입니다 : 내가 제안 그래서

.

(A - B)^{2}

$(A-B)^2$

(A det (A)^{- 1 / p} - B det (B)^{- 1 / p})^{2}

$(A\det(A)^{-1/p}-B\det(B)^{-1/p})^2$

— 사용자 603

2

첫째, KL은 실제 거리가 아니며 잘 알려진 사실입니다. 둘째, 행렬이 다른 단위로 측정되면 같을 수 없습니다.

— StasK

KL 거리는 가능성 비율과 비슷합니까, 아니면 관련입니까?

— hashmuke

7

과 는 모두 차원 의 행렬을 나타냅니다 . $\varSigma_1$ $\varSigma_2$ $p$

COND 번호 : 여기서, ( )은 최대 (최소) 고유의 , 으로 정의된다 : $\log(\lambda_1)-\log(\lambda_p)$ $\lambda_1$ $\lambda_p$ $\varSigma^*$ $\varSigma^*$ $\varSigma^*:=\varSigma_1^{-1/2}\varSigma_2\varSigma_1^{-1/2}$

편집 : 두 제안 중 두 번째 제안을 편집했습니다. 나는 그 질문을 오해했다고 생각한다. 조건 수를 기반으로 한 제안은 강력한 통계에서 적합도를 평가하는 데 많이 사용됩니다. 내가 찾을 수있는 오래된 출처는 다음과 같습니다.

V. Yohai, RA 및 Maronna, RA (1990). 강력한 공분산의 최대 편차. 통계 커뮤니케이션 – 이론과 방법, 19, 3925–2933.

원래 Det 비율 측정을 포함 시켰습니다 :

$\log(\det(\varSigma^{**})/\sqrt{\det(\varSigma_2)*\det(\varSigma_1)})$ $\varSigma^{**}=(\varSigma_1+\varSigma_2)/2$ .

이는 동일한 위치 벡터를 가진 두 가우스 분포 사이 의 Bhattacharyya 거리 입니다. 나는 원래 두 가지 공분산이 동일한 수단을 가진 것으로 추정되는 모집단의 표본에서 나온 설정과 관련된 질문을 읽었을 것입니다.

— 사용자 603
소스

7

비 정적 MIMO 채널의 평가를위한 의미있는 수단 인 Herdin (2005) 상관 매트릭스 거리에 의해 도입 된 측정 은 다음과 같습니다.

d = 1 - \frac{tr (R_{1} \cdot R_{2})}{‖ R_{1} ‖ \cdot ‖ R_{2} ‖},

$d = 1 - \frac{\text{tr}(R_1 \cdot R_2)}{\|R_1\| \cdot \|R_2\|},$ where the norm is the Frobenius norm.

— davidc
소스

+1. Thanks a lot for this answer, it was very helpful to me.

— amoeba says Reinstate Monica

1

This is one minus cosine similarity, right?

— Firebug

4

The covariance matrix distance is used for tracking objects in Computer Vision.

The currently used metric is described in the article: "A metric for covariance matrices", by Förstner and Moonen.

— Andres Romero
소스