상관 행렬이 양의 반 정밀도 여야하는 이유는 무엇입니까?

상관 관계 또는 공분산 행렬의 반 정밀도 속성의 의미를 연구하고 있습니다.

에 대한 정보를 찾고 있습니다

양의 반정의 정의;
중요한 특성, 실제적 의미;
부정적 결정 요인, 다변량 분석 또는 시뮬레이션 결과에 미치는 영향 등

— 멜론
소스

반 정밀도 가 무엇인지 이해하고 싶 거나 상관 행렬 이 반 정밀도 여야하는 이유를 알고 싶거나이 속성이 어떤 중요한 결과를 내포하고 있는지 알고 싶습니까?

— whuber

반 양성으로 정의되지 않은 상관 행렬이 음수 인 분산을 얻을 수 있습니다.

질문을 약간 수정했습니다. 확인하시기 바랍니다. 또한 짝수의 음의 고유 값을 갖는 행렬에는 여전히 양의 결정이 있습니다.

— ttnphns 2014 년

공분산 행렬이 항상 상관 행렬과 같지는 않습니다! 공분산은 정규화 된 변수를 고려하지만 상관 행렬은 고려하지 않습니다.

— Manoj Kumar

관련 질문 : 모든 공분산 행렬이 양의 명확한가? 상관 행렬이 특별한 경우 인 공분산 행렬의 넓은 경우를 고려합니다. 또한 모든 상관 행렬이 양의 반정의입니까? 그리고 모든 상관 행렬이 양의 명확한가?

— Silverfish

답변:

랜덤 변수 의 가중 합 의 분산은 모든 실수 선택에 대해 음수가 어야합니다 . 분산은 공분산 행렬 는 양의 반정 수 (때로는 음이 아닌 한정이라고도 함) 여야합니다. 행렬 는 인 경우에만 양의 $\sum_i a_i X_i$ $a_i$

var (\sum_{i} a_{i} X_{i}) = \sum_{i} \sum_{j} a_{i} a_{j} cov (X_{i}, X_{j}) = \sum_{i} \sum_{j} a_{i} a_{j} Σ_{i, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\sum_{i} \sum_{j} a_{i} a_{j} C_{i, j} \geq 0 \forall a_{i}, a_{j} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

— 디립 사르 베이트
소스

감사합니다. 다운 보트를 제거했지만 실제 시사점에 대한 답변이 아니기 때문에 공개하지 않았습니다. 긍정적 인 결정이 아닌 행렬이 있다고 가정 해보십시오 (예 : '전문가'의 수정으로 인해). 데이터를 교정 및 / 또는 시뮬레이션하기 위해 사용하면 어떻게됩니까? 구체적으로, 이것은 큰 액수를 연구하려고 할 때 실제 문제이며 음의 고유 값이 몇 개입니까? 비양의 반 정밀도 상관 행렬을 양의 반 정밀도 행렬로 변환하는 효율적인 알고리즘은 무엇입니까? 이 알고리즘의 영향은 무엇입니까?

— lcrmorin

@Were_cat downvote의 반전에 감사드립니다.

— Dilip Sarwate

첫 번째 방정식의 첫 번째 평등을 설명해 주시겠습니까?

— Vivek Subramanian

@VivekSubramanian Variance는 공분산 함수의 특수한 경우입니다 : 및 공분산 함수는 이중선입니다 (각 인수에 대해 선형 함수임을 의미 함).

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} cov (\sum_{i} a_{i} X_{i}, Y) & = \sum_{i} a_{i} cov (X_{i}, Y) \\ cov (X, \sum_{i} b_{j} Y_{j},) & = \sum_{j} b_{j} cov (X, Y_{j}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

— Dilip Sarwate

대답은 매우 간단합니다.

상관 행렬은 다음과 같이 정의됩니다.

하자 수 데이터 매트릭스 : 관찰 변수. $X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

정의 는 정규화 된 데이터의 행렬로, 은 변수 1에 대한 평균 , 는 변수 2에 대한 평균 등, 변수 1의 표준 편차 등이며 는 모두의 벡터입니다. 1s. $X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

그러면 상관 행렬은

C = X_{b}^{'} X_{b}

$C=X_b' X_b$

되도록 벡터 가없는 경우 행렬 는 양의 반정의 입니다. $A$ $z$ $z' A z <0$

가 양의 한정이 아니라고 가정하자 . 그런 다음 과 같은 벡터 w가 존재합니다 . $C$ $w' C w<0$

그러나 여기서 이므로 는 제곱의 합이므로 0보다 작을 수 없습니다. $(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

따라서 상관 행렬뿐만 아니라 형식으로 기록 될 수있는 행렬 는 양의 반정의입니다. $U$ $V' V$

— 그레고르
소스

이것은 가장 명확하고 간결하고 유용한 답변입니다. 감사 !

— Yohan Obadia

(추론에서 가능한 느슨 함은 내 것이 될 것입니다. 저는 수학자가 아닙니다. 이것은 증거가 아니라 묘사이며, 책이 아닌 수치 실험에서 나온 것입니다.)

긍정적 semidefinite 또한 Gramian 매트릭스 호출 (PSD) 행렬, 부정적인 고유 값을 가진 행렬이다. 음의 고유 값을 갖는 행렬은 양의 반정의 또는 비 Gramian이 아닙니다. 이 두 가지 모두 유한 값 (제로 고유 값 없음) 또는 특이 형 (하나 이상의 제로 고유 값 포함) 일 수 있습니다. [Word "Gramian"은 수학에서 여러 가지 다른 의미로 사용되므로 피해야합니다.]
통계에서 우리는 일반적으로이 용어를 스칼라 곱 행렬이라고도하는 SSCP 유형 행렬에 적용합니다. 상관 또는 공분산 행렬 은 이러한 행렬의 특별한 경우입니다 .
모든 스칼라 곱 행렬은 일부 다변량 데이터 (구름)의 요약 특성입니다. 예를 들어, 경우 X 변수 데이터가 주어지면 변수 사이의 X 공분산 행렬 또는 X 계산할 수 있습니다 $n$ $p$ $p$ $p$ $n$ $n$ 사례 간 공분산 행렬. 실제 데이터에서 계산할 때 행렬은 항상 Gramian입니다. (1) 직접 측정 된 유사성 행렬이거나 (데이터에서 계산되지 않은) 유사성 측정 값이 SSCP 유형이 아닌 경우 비 Gramian (비 psd) 행렬을 얻을 수 있습니다. (2) 행렬 값이 잘못 입력되었습니다. (3) 행렬은 실제로 Gramian이지만 고유 값을 계산하는 스펙트럼 방법이 진정한 0 또는 작은 양의 값 대신 작은 음의 값을 생성한다는 점에서 특이합니다.
구름에 대한 대안적이고 동등한 요약은 유클리드 거리의 행렬입니다. 한 쌍의 항목과 그 사이의 해당 제곱 유클리드 거리 사이의 스칼라 곱 (공분산 등)은 코사인 법칙에 의해 묶여 있습니다 ( 코사인 정리 , 그림 참조) : (여기서 는 스칼라 곱이고 는 원점에서 두 항목의 거리입니다. 변수 와 사이의 공분산 행렬의 경우이 공식은 . $d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
중간 결론 : 일부 항목 간의 공분산 (또는 상관 또는 다른 스칼라 곱) 행렬은 유클리드 공간에 포함 된 점의 구성이므로 유클리드 거리는 이러한 모든 포인트 사이에 정의됩니다 . $m$ $m$
이제, [point 5]가 정확하게 유지된다면, 점들의 구성은 실제로 유칼리 우스 구성이며, 이는 스칼라 곱 행렬 (예를 들어 공분산)이 Gramian이라는 것을 의미합니다. 그렇지 않으면 그 래미안이 아닙니다. 따라서, " X 공분산 행렬은 양의 반정의"라고 말하는 것은 " 포인트와 원점을 유클리드 공간에 완벽하게 맞추는 것"을 말하는 것 입니다. $m$ $m$ $m$
비 Gramian (비 유클리드) 구성의 가능한 원인 또는 버전은 무엇입니까? 답은 고려할 때 따라 온다 [포인트 4].
- 원인 1. 악은 점 자체에 속합니다 : X 거리 행렬은 완전히 유클리드가 아닙니다. 쌍별 거리 는 유클리드 공간의 나머지 점과 일치 할 수없는 거리 입니다. 그림 1을 참조하십시오 . $m$ $m$ $d$
- 원인 2. 와 사이에 일반적인 (매트릭스 수준) 불일치가 있습니다. 예를 들어, 고정 된 와 일부 가 주어지면, 다른 는 유클리드 공간에 동의하기 위해 일부 범위 내에서만 변해야합니다. 그림 2를 참조하십시오 . $h$ $d$ $d$ $h$ $h$
- 원인 3. 와 해당 두 점에 연결된 해당 쌍 사이에 지역화 된 (쌍 수준) 불일치가 있습니다. 즉, 삼각 불평등 의 법칙 이 위반된다. 이 규칙은. 그림 3을 참조하십시오 . $d$ $h$ $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$
원인을 진단하려면 위의 코사인 법칙을 사용하여 비 Gramian 공분산 행렬을 거리 행렬로 변환하십시오. 수행 더블을 중심으로 그 위에. 결과 행렬에 음의 고유 값이 있으면 원인 1이 존재합니다. 그렇지 않으면 , 원인 3이 있습니다. 다른 원인 2가 있습니다. 때때로 하나 이상의 원인이 하나의 행렬에서 발생합니다. $|cov_{ij}| \gt \sigma_i \sigma_j$

그림 1.

무화과 1

그림 2.

그림 2

그림 3.

그림 3

— ttnphns
소스

포인트 6은 데모가 필요합니다. 유클리드 거리 제곱 의 행렬 이 pd 인 것으로 나타 났지만, 각 pd 매트릭스에 대해 유클리드의 점 구성이 일치한다는 증거없이 주장 할 수 있습니다. 또한 pd 정의 ( "음의 고유 값 없음")를 후속 특성에 연결하지 않았습니다. 핵심 아이디어는 끝입니다 (포인트 8). pd 행렬을 사용하여 거리를 정의 할 수 있습니다. 논리적으로 여기 에서 분석을 시작 해야 합니다 .

— whuber

@ whuber : 비판적 평가에 감사드립니다. 수학적으로 무언가를 증명할 때 나는 두렵습니다 . 나는 나의 실제적인 경험의 일부를보고했다 . 답은 실제로 분석 순서가 아니 었습니다. 그렇다면 내 것을 교정 / 개선 할 수있는 자신의 답변을 추가하고 싶지 않습니까? 귀중한 도움이 될 수 있습니다. 또는 헛된 것이 아니라면 텍스트를 개선하여 자유롭게 개선 할 수 있습니다.

— ttnphns

PS My point 8은 이중 센터링이 중심에 점의 구성을 고정하기 때문에이 작업 자체는 비 편성 성을 나타내지 않습니다 (새로운 점인 중심이 동일한 공간에 속하기 때문에 특이점 만 유발 함). 그런 다음 초기 구성이 유클리드인지 확인할 수 있습니다. 맞지 않습니까?

— ttnphns 2018 년