상관 행렬의 제로 고유 값에 대한 충분하고 필요한 조건

11

확률 분포가 인 $n$ 랜덤 변수 주어지면 상관 행렬 는 양의 반정의, 즉 고유 값입니다. 양수 또는 0입니다. $X_i$ $P(X_1,\ldots,X_n)$ $C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

가 제로 고유 값 을 갖기에 필요하거나 충분한 의 조건에 관심 이 있습니다 . : 예를 들어, 충분 조건은 확률 변수가 독립적이지 점이다 진짜 숫자 . 예를 들어, 다음 되고 고유 값이 0 인 의 고유 벡터 우리가있는 경우 상의 독립적 인 선형 제약을 '이 형이야, 그것은을 암시 제로 고유 값을. $P$ $C$ $m$ $\sum_i u_i X_i=0$ $u_i$ $P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$ $\vec u=(1,-1,0,\ldots,0)$ $C$ $m$ $X_i$ $m$

일부 대해 (예 : ) 인 경우 하나 이상의 추가 (그러나 사소한) 가능성 이 있습니다. case 의 열과 행은 0입니다. . 실제로는 흥미롭지 않기 때문에 확률 분포가 그 형태가 아니라고 가정합니다. $X_a=E[X_a]$ $a$ $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$ $C_{ij}$ $C_{ia}=C_{ai}=0,\,\forall i$

내 질문은 : 선형 제약 조건이 제로 고유 값을 유도하는 유일한 방법 입니까 ( 위에 주어진 사소한 예외를 금지하는 경우), 무작위 변수에 대한 비선형 제약 조건도 제로 고유 값을 생성 할 수 있습니까? $C$

correlation

— 아담
소스

1

정의에 따르면, 제로 벡터를 포함하는 벡터 컬렉션은 선형으로 종속되므로 추가 가능성은 새로운 것이거나 다르지 않습니다. 당신은 당신 "은 필요에 의해 무엇을 의미하는지 설명해 주시겠습니까

m

$m$ 고유 값을"? 그것은 일종의 인쇄상의 오류처럼 보입니다.

— whuber

@ whuber : 예, 오타. 수정했습니다. 두 조건이 다르다고 생각합니다. 하나는 변수 간의 관계에 관한 것이고 다른 하나는 변수 만의 확률에 관한 것입니다 (즉,

).

p (X_{a}) = δ (X_{a} - E (X_{a}))

$p(X_a)=\delta(X_a-E(X_a))$

— Adam

귀하의 질문의 공식은 혼란 스럽습니다. 그것은 선형 대수의 기본 정리처럼 보이지만 "독립적 인"랜덤 변수에 대한 언급은 그것이 다른 것에 관한 것일 수 있음을 시사합니다. "독립적"을 사용할 때마다 (통계적으로) 독립적 인 랜덤 변수가 아니라 선형 독립성의 의미를 의미한다는 것을 이해하는 것이 옳습니까? "무작위 변수"가 실제로 데이터 행렬의 열을 의미 할 수 있음을 시사하기 때문에 "데이터 누락"에 대한 참조는 더욱 혼란스러워집니다. 이러한 의미를 명확히하는 것이 좋습니다.

— whuber

@ whuber : 질문을 편집했습니다. 바라건대 더 명확합니다.

— Adam

독립 조건

은 각

의 평균이

이 아닌 한 반드시

필요는 없습니다 .

\sum_{i} u_{i} X_{i} = 0

$\sum_i u_i X_i=0$

X_{i}

$X_i$

— Sextus Empiricus

6

아마도 표기법을 단순화하여 필수 아이디어를 도출 할 수 있습니다. 모든 것이 순전히 대수적이기 때문에 기대치 나 복잡한 수식이 필요하지 않습니다.

수학적 대상의 대수적 성질

문제는 (1) 유한 변수로 구성된 유한 변수의 공분산 행렬 및 (2) 벡터로 간주되는 변수 간의 선형 관계 간의 관계에 관한 것 입니다. $X_1, \ldots, X_n$

해당 벡터 공간 (주어진 확률 공간의 모든 유한 분산 랜덤 변수들의 집합이다 는 거의 확실하게 일정한 변수의 부분 공간 모듈로) 표시 (즉, 우리는 두 확률 변수 고려 와 동일하게 벡터 것을 제로 기회가있을 때 우리는 유한 차원 벡터 공간으로 다루고있다. 그 기대는 다릅니다)이 에 의해 생성 된 $(\Omega,\mathbb P)$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ $X$ $Y$ $X-Y$ $V$ $X_i,$ 이것이 분석적인 문제가 아닌 대수 문제를 만드는 것입니다.

분산에 대해 알아야 할 사항

는 단순한 벡터 공간 그 이상입니다. 분산이 장착되어 있기 때문에2 차 모듈입니다. 분산에 대해 알아야 할 것은 두 가지입니다. $V$

분산은 스칼라 값 함수이고 라는 속성 모든 벡터에 대한 $Q$ $Q(aX)=a^2Q(X)$ $X.$
분산은 변질되지 않습니다.

두 번째는 약간의 설명이 필요합니다. 는 "dot product"를 결정하는데, 이는 다음과 같이 대칭적인 이중선 형태입니다. $Q$

X \cdot Y = \frac{1}{4} (Q (X + Y) - Q (X - Y)) .

$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$

(이것은 변수의 공분산 이외 물론 아무것도 인 및 일러스트) 및 있는 직교 그들의 내적 인 경우 직교 보수 벡터의 모든 세트 모든 벡터 구성은 모든 소자에 직교 의 작성 $X$ $Y.$ $X$ $Y$ $0.$ $\mathcal A \subset V$ $\mathcal A,$

A^{0} = {v \in V ∣ a . v = 0 for all v \in V} .

$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$

분명히 벡터 공간입니다. 경우 , 이다 비축. $V^0 = \{0\}$ $Q$

분명하게 보일지라도 분산이 실제로 비 변성임을 증명할 수 있습니다. 가 이 아닌 요소 라고 가정합니다 이것은 모든 대해 을 의미합니다 동등하게 $X$ $V^0.$ $X\cdot Y = 0$ $Y\in V;$

큐 (엑스 + 와이) = 큐 (엑스 - 와이)

$Q(X+Y) = Q(X-Y)$

모든 벡터 복용 하면 $Y.$ $Y=X$

4 Q (X) = Q (2 X) = Q (X + X) = Q (X - X) = Q (0) = 0

$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$

따라서 우리는 영 분산 유일한 랜덤 변수의 제로 벡터을 식별에게 거의 확실하게 일정하다는 것을 (아마도, 체비 쇼프 부등식을 사용) 알 그러나 QED. $Q(X)=0.$ $V,$

질문 해석

이전의 표기법에서 질문으로 되돌아 가면 , 랜덤 변수 의 공분산 행렬 은 모든 내적의 일반적인 배열입니다.

T = (X_{i} \cdot X_{j}) .

$T = (X_i\cdot X_j).$

에 대해 생각하는 좋은 방법이 있습니다 . 벡터 을 벡터 로 보내서 일반적인 방식 으로 에서 선형 변환을 정의합니다. , 그 성분 매트릭스 승산 규칙에 의해 주어진다 $T$ $\mathbb{R}^n$ $x=(x_1, \ldots, x_n)\in\mathbb{R}^n$ $T(x)=y=(y_1, \ldots, x_n)$ $i^\text{th}$

y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} .

$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$

이 선형 변환 의 커널 은 그것이 0으로 보내는 부분 공간입니다.

Ker (T) = {x \in R^{n} ∣ T (x) = 0} .

$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$

상기 식은 그 의미 때 각 대 $x\in \operatorname{Ker}(T),$ $i$

0 = y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} = X_{i} \cdot (\sum_{j} x_{j} X_{j}) .

$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$

이 모든 마찬가지이기 때문에 모든 벡터에 의해 스팬 것은 보유 , 즉 : 자체. 결과적으로 때 의해 주어진 벡터 는 분산이 비 변성이기 때문에 이는 의미 즉, 는 원래 랜덤 변수 간의 선형 의존성을 나타냅니다 . $i,$ $X_i$ $V$ $x\in\operatorname{Ker}(T),$ $\sum_j x_j X_j$ $V^0.$ $\sum_j x_j X_j = 0.$ $x$ $n$

이 추론 체인이 뒤집을 수 있는지 쉽게 확인할 수 있습니다.

간에 선형 종속 벡터 그대로 의 커널의 요소와 일대일 대응되어 $X_j$ $T.$

(문이 여전히 고려 기억 위치에서 일정한 시프트까지 정의 - 요소로서 인 . --rather 무작위 변수로서 이하) $X_j$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

마지막으로 정의함으로써, 고유치 의 임의의 스칼라 비제 벡터가 존재하는 가진 하면 고유치는, 관련된 고유 벡터의 공간 (명백하게)의 커널 $T$ $\lambda$ $x$ $T(x) = \lambda x.$ $\lambda=0$ $T.$

요약

우리는이 질문에 대한 답변에 도착한 : 랜덤 변수의 선형 종속성들의 세트, ...로서의 원소 일대일들이 공분산 매트릭스의 커널에 대응 이것은 분산이 비 변성 2 차 형태이기 때문입니다. 커널은 또한 고유 값이 0 인 고유 공간입니다 (또는 고유 값이 0이 아닌 경우에만 0의 하위 공간). $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ $T.$

참고

나는 IV 장의 표기법과 일부 언어를 주로 채택했다.

장 피에르 Serre, 산술 과정. Springer-Verlag 1973.

— 우버
소스

우와, 대단해! 당신이 "쓸 때 : 그냥 질문은 확실히 내가 다 이해가 되실

벡터 등을"당신이 (즉, 벡터의 확률 변수를 수집하는 의미하지 않는다

), 또는 당신을 ? 내가 맞다, 난 당신이 확률 변수의 가능한 값을 수집하는 같은데요

확률 분포가 분산의 정의에 숨겨져있는 동안 오른쪽, 벡터에?

X_{j}

$X_j$

\vec{X} = (X_{1}, \dots, X_{n})

$\vec X=(X_1,\ldots,X_n)$

X_{i}

$X_i$

— Adam

나는 분명하지 않은 주요 측면이 다음과 같다고 생각한다 (확률 이론에 대한 공식적인 지식이 부족하다는 것을 보여줄 수있다). 당신은 0 고유 값이 있다면, 우리는 예를 들어

임을 보여준다 . 이 제약 조건은

숨겨진 확률 분포

참조하지 않습니다 (이 데모에 대한 영리한 포인트라고 생각합니다). 그러나

를 참조하지 않고

를 갖는 것은 무엇을 의미 합니까? 아니면

X_{1} = X_{2}

$X_1=X_2$

P

$P$

Q

$Q$

X_{1} = X_{2}

$X_1=X_2$

P

$P$

P \propto δ (X_{1} - X_{2})

$P\propto \delta(X_1-X_2)$ 그러나 델타 함수에서 과 의 선형 조합 $X_1$ $X_2$ 이어야한다는 것을 어떻게 알 수 있습니까?

— Adam

이 상황에서 "델타 기능"의 사용을 이해하지 못하는 것 같습니다, Adam. 그것은 부분적으로 필자가 필요로하지 않기 때문에, 부분적으로 표기법이 모호하기 때문입니다. 예를 들어 크로네 커 델타 또는 디락 델타일까요?

— whuber

변수 (개별적이거나 연속적인)에 따라 Kronecker 또는 Dirac입니다. 이 델타의가, 예를 들어, 내가 2에 의해-2 행렬을 통해 통합 통합 측정의 일부가 될 수있는

(그래서 네 실제 변수

,

및

체중와 함께, (예를 들어

) 또는 I 서브 그룹 적분.이 대칭 행렬 (예를 들어 의미있는 경우

M

$M$

X_{1}

$X_1$

X_{2}

$X_2$

X_{3}

$X_3$

X_{4}

$X_4$

P = \exp (- t r (M . M^{T}))

$P=\exp(-tr(M.M^T))$

X_{2} = X_{3}

$X_2=X_3$ )에

에

를 곱하여 공식적으로 부과 할 수 있습니다 . 이것은 선형 제약 조건입니다. 비선형 구속 조건의 예는 Martijn Weterings의 답변 아래 주석에 나와 있습니다.

P

$P$

δ (X_{1} - X_{2})

$\delta(X_1-X_2)$

— Adam

문제는 다음과 같습니다. 변수에 추가 할 수있는 비선형 구속 조건 중 어떤 것이 0 고유 값을 유도 할 수 있습니까? 귀하의 답변에 따르면 : 선형 제약 조건을 의미하는 비선형 구속 조건 만 (Martijn Weterings의 답변 아래 주석에 설명 된 것처럼). 어쩌면 문제는 내가 문제를 생각하는 방식이 물리학 자의 관점에서 나왔고 다른 언어로 설명하려고 애쓰는 것입니다 (물리학이 아닌이 질문을하기에 적합한 곳이라고 생각합니다).

— Adam

5

선형 독립성은 충분할뿐만 아니라 필요한 조건

변수가 선형 적으로 독립적이지 않은 경우에만 분산 공분산 행렬의 고유 값이 0과 동일 함을 나타 내기 위해 "행렬이 고유 값이 0 인 경우 변수가 선형 적으로 독립적이지 않음"만 표시됩니다.

대해 고유 값이 0 이면 선형 조합이 있습니다 (고유 벡터 정의 됨 ) $C_{ij} = \text{Cov}(X_i,X_j)$ $v$

Y = \sum_{i = 1}^{n} v_{i} (X_{i})

$Y = \sum_{i=1}^n v_i (X_i)$

그런

\begin{array}{rcl} Cov (Y, Y) & = & \sum_{i = 1}^{n} \sum_{j = 1}^{n} v_{i} v_{j} Cov (X_{i}, X_{j}) \\ = & \sum_{i = 1}^{n} v_{i} \sum_{j = 1}^{n} v_{j} C_{i j} \\ = & \sum_{i = 1}^{n} v_{i} \cdot 0 \\ = & 0 \end{array}

$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$

이는 가 상수 여야하므로 변수 는 상수까지 더해져야하며 상수 자체 (사소한 경우)이거나 선형 적으로 독립적이지 않습니다. $Y$ $X_i$

^{방정식의 첫 번째 줄 은 공분산 $\text{Cov}(Y,Y)$}

Cov (a U + b V, c W + d X) = a c Cov (U, W) + b c Cov (V, W) + a d Cov (U, X) + b d Cov (V, X)

$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$

^{-두 번째 줄부터 세 번째 줄까지의 단계는 0 고유 값 의 속성 때문입니다}

\sum_{j = 1}^{n} v_{j} C_{i j} = 0

$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$

비선형 제약

따라서 선형 구속 조건은 (충분한 것이 아니라) 필요한 조건 이므로 비선형 구속 조건은 (필요한) 선형 구속 조건을 간접적으로 암시하는 경우에만 관련됩니다.

실제로, 제로 고유 값과 관련된 고유 벡터와 선형 제약 사이에는 직접적인 대응 관계가 있습니다.

C \cdot v = 0 ⟺ Y = \sum_{i = 1}^{n} v_{i} X_{i} = const

$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$

따라서 고유 값이 0이되는 비선형 구속 조건을 결합하면 선형 구속 조건을 생성해야합니다.

비선형 구속 조건이 선형 구속 조건을 발생시키는 방법

주석의 예제는 비선형 구속 조건이 파생을 반전하여 선형 구속 조건으로 이어지는 방법을 직관적으로 보여줄 수 있습니다. 다음 비선형 제약

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a c + b d & = & 0 \\ a d - b c & = & 1 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$

로 줄일 수 있습니다

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a - d & = & 0 \\ b + c & = & 0 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$

이것을 반대로 할 수 있습니다. 비선형 + 선형 구속 조건이 있다고 가정하면 선형 구속 조건을 비선형 구속 조건에 채워서 선형 구속 조건 중 하나를 비선형 구속 조건으로 대체 할 수있는 방법을 상상하는 것은 이상하지 않습니다. 예를 들면 우리는 대체 때 및 비선형 형태 다음 다른 관계 수 . 그리고 와 를 곱 $a=d$ $b=-c$ $a^2+b^2=1$ $ad-bc=1$ $a=d$ $c=-b$ then you get $ac=-bd$ .

— Sextus Empiricus
소스

I guess this (and the answer by whuber) is an indirect answer to my question (which was : "is linear dependence the only way to obtain a zero eigenvalue") in this way : even if the dependence between the random variables is non-linear, it can always be rewritten as a linear dependence by just writing

Y = \sum_{i} ν_{i} X_{i}

$Y=\sum_i \nu_i X_i$ . Although I was really looking for way to characterize the possible non-linear constraints themselves, I guess it is nevertheless a useful result.

— Adam

Yes, I know... what I'm saying is that if there is a non-linear dependence and there is a zero eigenvalue, then by your answer, it means that the non-linear dependence can be "factored" in some way into a linear dependence. It is a weaker version of what I was looking for, but still something.

— Adam

귀하의 예가 효과가 없다는 것을 의미하는 것은 아닙니다.

— Adam

여기 당신의 말에 대한 반례가 있습니다 (그렇지 않다고 생각하면 문제의 공식에 문제가있는 것을 찾는 데 도움이 될 수 있습니다 :)) : 2x2 랜덤 행렬을 가져옵니다

M

$M$ 상기와 비선형 제약

M . M^{T} = 1

$M.M^T=1$ 과

det M = 1

$\det M=1$ . 이 3 개의 비선형 제약 조건은 2 개의 선형 제약 조건과 1 개의 선형 측면에서 다시 작성할 수 있습니다. 공분산 행렬에는 2 개의 고유 벡터가 있음을 의미합니다. 구속 조건 제거

det M = 1

$\det M=1$ 그리고 그들은 사라집니다.

— Adam

M_{11} = X_{1}

$M_{11}=X_1$ ,

M_{12} = X_{2}

$M_{12}=X_2$ ,

M_{21} = X_{3}

$M_{21}=X_3$ and

M_{22} = X_{4}

$M_{22}=X_4$ . The constraints are

X_{1}^{2} + X_{2}^{2} = 1

$X_1^2+X_2^2=1$ ,

X_{3}^{2} + X_{4}^{2} = 1

$X_3^2+X_4^2=1$ ,

X_{1} X_{3} + X_{2} X_{4} = 0

$X_1 X_3+X_2 X_4=0$ (only two are independent). They do not imply a zero eigenvalue. However, adding

X_{1} X_{4} - X_{2} X_{3} = 1

$X_1 X_4-X_2 X_3=1$ does imply two eigenvectors with 0 eigenvalues.

— Adam

2

가정 $C$ 고유 벡터가있다 $v$ 해당 고유 값 $0$ 그런 다음 $\operatorname{var}(v^T X) = v^T Cv = 0$ . 체비 쇼프의 불평등에 의해 $v^TX$ 거의 항상 일정하고 $v^T E [X]$ . 즉, 모든 제로 고유 값은 선형 제한, 즉 $v^T X = v^T E[X]$ . 특별한 경우를 고려할 필요가 없습니다.

따라서 다음과 같이 결론을 내립니다.

"제로 고유 값을 유도하는 유일한 방법은 선형 구속 조건입니까?

예.

"임의의 변수에 대한 비선형 구속 조건이 C의 0 고유 값을 생성 할 수 있습니까?"

예, 선형 제약 조건을 의미하는 경우 가능합니다.

— ekvall
소스

동의한다. 나는 비선형 제약의 종류에 대해 더 구체적이기를 희망했지만 제약을 지정하지 않으면 더 잘하기가 어렵다고 생각합니다.

— Adam

2

공분산 마 릭스 $C$ 의 $X$ 대칭이므로 다음과 같이 진단 할 수 있습니다. $C=Q\Lambda Q^T$ 대각 행렬의 고유 값으로 $\Lambda.$ 이것을 다음과 같이 재 작성 $\Lambda=Q^TCQ$ rhs는 공분산 행렬입니다 $Q^TX$ 따라서 lhs의 제로 고유 값은 선형 조합에 해당합니다. $X$ 변성 분포로.

— 하세 1987
소스

이것은 매우 간결한 설명이지만 어떻게 더 직관적으로 만들 수 있습니까?

Q^{T} C Q = cov (Q^{T} X)

$Q^TCQ = \text{cov}(Q^TX)$ ?

— Sextus Empiricus