표본 크기가 변수 수보다 작을 때 표본 공분산 행렬이 왜 특이합니까?

차원 다변량 가우스 분포 가 있다고 가정 해 봅시다 . 그리고이 분포에서 관측치 (각각 벡터)를 취하고 표본 공분산 행렬 계산합니다 . 이 논문 에서 저자는 계산 된 표본 공분산 행렬 이 단수 라고 말합니다 .$p$$n$$p$$S$$p > n$

• 그것이 사실이거나 파생 된 방법은 무엇입니까?
• 어떤 설명이 있습니까?

증거없이 제공되는 행렬 순위에 대한 몇 가지 사실 (그러나 모든 또는 거의 모든 증거는 표준 선형 대수 텍스트로 제공되거나 경우에 따라 충분한 정보를 제공 한 후 연습으로 설정해야 함) :

경우 와 B는 두 개의 정합 행렬은 다음과 같습니다$A$$B$

의 (ⅰ) 열 랭크 = 행 랭크$A$$A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

$\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv)$\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) 가 전체 순위의 제곱 행렬 인 경우$B$$\text{rank}(AB) = \text{rank}(A)$

샘플 데이터 의 행렬 고려하십시오 . 위에서 의 순위는 최대 입니다.$n\times p$$y$$y$$\min(n,p)$

또한, 위로부터 분명히 의 순위는 의 순위보다 크지 않을 것이다 ( 의 계산을 매트릭스 형태 로 고려하면 약간 단순화 할 수 있음).$S$$y$$S$

만약 다음 경우에 .$n<p$$\text{rank}(y)<p$$\text{rank}(S)<p$

귀하의 질문에 대한 짧은 대답은 그 순위 입니다. 따라서 p > n 이면 S 는 단수입니다.$(S) \le n - 1$$p > n$$S$

보다 자세한 답변을 위해 (편견이없는) 표본 공분산 행렬 은 다음과 같이 쓸 수 있습니다.

효과적으로, 우리가 합산되어 행렬 각각 관찰 가정 1의 랭크를 갖는 어떤 의미에서 각각 관찰 선형 독립적 X 나 랭크 1 기여 ( S ) 및 1 (만약 랭크로부터 감산 P > N )는 각 관측 값을 ˉ x로 중앙에 배치하기 때문 입니다. 그러나 다중 공선 성 이 관측치에 있으면 순위 ( S ) 가 줄어들 수 있으며, 이는 순위가 n - 1 보다 작은 이유를 설명합니다 .$n$$x_i$$(S)$$p > n$$\bar{x}$$(S)$$n - 1$

이 문제를 연구하는 데 많은 양의 작업이 진행되었습니다. 예를 들어, 저의 동료와 저는 같은 주제에 관한 논문 을 썼습니다 . 여기서 우리는 p ≫ n 설정 에서 선형 판별 분석 에 적용될 때 가 특이한 지 어떻게 진행할 것인지 결정하는 데 관심이있었습니다 .$S$$p \gg n$

상황을 올바른 방식으로 살펴보면 결론은 직관적이고 명백합니다.

이 게시물은 두 가지 데모를 제공합니다. 첫 번째는 바로 아래에 있습니다. 맨 끝에 나타나는 간단한 그림과 같습니다. 그 사이에는 단어와 그림의 의미에 대한 설명이 있습니다.

p- 변량 관측치에 대한 공분산 행렬 은 행렬 X n p (최근 데이터)에 조옮김 X ' p n 을 왼쪽 곱하여 계산 된 p × p 행렬 입니다. 이 행렬 곱은 차원이 p 와 n 인 벡터 공간의 파이프 라인을 통해 벡터를 보냅니다 . 따라서 공분산 행렬은, ...로서 선형 변환, 보낼 R을 N 차원이 최대로되는 부분 공간으로 분 ( P , N ) .$n$ $p$$p\times p$$\mathbb{X}_{np}$$\mathbb{X}_{pn}^\prime$$p$$n$$\mathbb{R}^n$$\min(p,n)$공분산 행렬의 순위가 보다 크지 않은 것은 즉시입니다 . $\min(p,n)$ 결과적으로 인 경우 순위는 최대 n 이며, p 보다 엄격히 작 으면 공분산 행렬은 단수입니다.$p\gt n$$n$$p$

이 모든 용어는이 게시물의 나머지 부분에서 자세히 설명합니다.

(Amoeba는 이제 삭제 된 주석에서 친절하게 지적하고 관련 질문 에 대한 답변 에서 알 수 있듯이 의 이미지는 실제로 R n 의 codimension-one 하위 공간에 있습니다 (구성 요소의 합이 0 인 벡터로 구성됨). 열은 모두 최근에 0이되었으므로 표본 공분산 행렬 1 의 순위$\mathbb X$$\mathbb{R}^n$는n−1을초과 할 수 없습니다.)$\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$$n-1$

선형 대수는 벡터 공간의 치수를 추적하는 것입니다. 순위와 특이성에 대한 주장에 대한 깊은 직관을 갖기 위해서는 몇 가지 기본 개념 만 이해하면됩니다.

1. 행렬 곱셈은 벡터의 선형 변환을 나타냅니다. 행렬 M은 로부터 선형 변환 나타내는 N 차원 공간 V N 내지 An m 차원 공간 V의 m이 . 특히, 모든 x ∈ V n 을 M x = y ∈ V m으로 보냅니다 . 이것이 선형 변환이라는 것은 선형 변환의 정의와 행렬 곱셈의 기본 산술 속성에서 즉시 이어집니다.$m\times n$$\mathbb{M}$$n$$V^n$$m$$V^m$$x\in V^n$$\mathbb{M}x = y \in V^m$

2. 선형 변환은 치수를 늘릴 수 없습니다. 이것은 변환 M ( V m 의 서브 벡터 공간) 하에서 전체 벡터 공간 의 이미지 가 n 보다 크지 않은 차원을 가질 수 있음을 의미한다 . 이것은 차원의 정의에 따르는 (쉬운) 정리입니다.$V^n$$\mathbb M$$V^m$$n$

3. 하위 벡터 공간의 크기는 해당 공간의 크기를 초과 할 수 없습니다. 이것은 정리이지만 다시 한 번 분명하고 쉽게 증명할 수 있습니다.

4. 선형 변환 의 순위 는 이미지의 차원입니다. 행렬의 순위는 그것이 나타내는 선형 변환의 순위입니다. 이것들은 정의입니다.

5. 특이 행렬 엄격 미만 순위가 $\mathbb{M}_{mn}$$n$ (그 도메인의 크기). 즉, 이미지의 크기가 더 작습니다. 이것은 정의입니다.

직관을 개발하려면 치수 를 보는 것이 좋습니다. 따라서 및 x n 과 같이 모든 벡터와 행렬의 바로 뒤에 치수를 씁니다 . 따라서 일반 식$\mathbb{M}_{mn}$$x_n$

n- 벡터 x에 적용될 때 행렬 M 은 m- 벡터 y를 생성 한다는 것을 의미한다 .$m\times n$$\mathbb M$$n$$x$$m$$y$

행렬의 곱은 선형 변환의 "파이프 라인"으로 생각할 수 있습니다. 일반적으로, 가정 이다 의 연속적인 적용으로 인한 차원 벡터 선형 변환 M M , N , L의 L 개의 m , ... , B의 B의 C , 및 B 받는 N - 벡터 X N 공간에서 오는 V n . 이 벡터가 얻어 X N 차원의 벡터 공간의 세트를 통해 연속적 $y_a$$a$$\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$$\mathbb{A}_{ab}$$n$$x_n$$V^n$$x_n$ 최종적.$m, l, \ldots, c, b,$$a$

병목 현상 찾기 : 치수를 ​​늘릴 수없고 (포인트 2) 부분 공간이있는 공간보다 큰 치수를 가질 수 없으므로 (포인트 3) V n 이미지의 치수 가 최소 치수 최소값 ( a 파이프 라인에서 , b , c , … , l , m , n )이 발생했습니다.$V^n$$\min(a,b,c,\ldots,l,m,n)$

파이프 라인의이 다이어그램은 제품 적용될 때 결과를 완전히 증명합니다 .$\mathbb{X}^\prime \mathbb{X}$