공분산 행렬의 역수는 데이터에 대해 무엇을 말합니까? (직관적으로)

나는 의 본질이 궁금하다 $\Sigma^{-1}$ . " $\Sigma^{-1}$ 은 데이터에 대해 무엇을 말합니까?"에 대해 직관적으로 말할 수있는 사람이 있습니까?

편집하다:

답장을 보내 주셔서 감사합니다

훌륭한 코스를 수강 한 후 몇 가지 요점을 추가하고 싶습니다.

정보의 측정 값, 즉 는 방향 따른 정보량입니다 . $x^T\Sigma^{-1}x$ $x$
이중성은 : 부터 명확한 긍정적 인, 그래서이다 그들은 내적 규범이되어 우리가 본격화 최소 제곱 문제에 대한 Fenchel 듀얼를 도출 할 수 있도록보다 정밀하게 서로의 이중 규범이 있으며, 이중 WRT 극대화 할 수 있도록, 문제. 컨디셔닝에 따라 둘 중 하나를 선택할 수 있습니다. $\Sigma$ $\Sigma^{-1}$
힐버트 공간 : $\Sigma^{-1}$ 과 의 열과 행 $\Sigma$ 은 같은 공간에 걸쳐 있습니다. 따라서 $\Sigma^{-1}$ 또는 표현하는 것 사이에는 이점이 없습니다 (이러한 행렬 중 하나가 잘못 조절 된 경우) $\Sigma$
$\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
빈번한 통계 : Cramér-Rao 경계를 사용하여 Fisher 정보와 밀접한 관련이 있습니다. 실제로, 피셔 정보 매트릭스 (자체와 함께 로그 우도의 구배의 외부 산물)는 Cramér-Rao에 바인딩되어 있습니다. 즉, (양수 반 구체 원뿔, iewrt 농도 타원체). 따라서 때 최대 가능성 추정기가 효율적입니다. 즉, 최대 정보가 데이터에 존재하므로 잦은 정권이 최적입니다. 간단히 말하면, 일부 우도 함수의 경우 (유도의 기능적 형태는 순전히 데이터를 생성 한 확률 적 모델, 즉 생성 모델에 의존 함), 최대 우도는 효율적이고 일관된 추정기, 보스와 같은 규칙입니다. (과도하게 사용하여 죄송합니다) $\Sigma^{-1}\preceq \mathcal{F}$ $\Sigma^{-1}=\mathcal{F}$

— 아리아
소스

PCA가 작은 고유 값보다 큰 고유 값을 가진 고유 벡터를 선택한다고 생각합니다.

— wdg

그것의 열의 주장 동등하기 때문에 (3)이 올바르지 않습니다 의 것이며 만 행렬 마찬가지이다 (최대 순열).

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

— whuber

답변:

가 분산의 척도 인 것처럼 정확도 의 척도입니다. $\Sigma$

보다 정교하게 말하면, 는 변수가 평균 (대각선 요소) 주위에 분산되는 방식과 다른 변수 (대각선이 아닌) 요소와 어떻게 다른지 측정하는 척도입니다. 평균에서 멀어 질수록 분산이 더 많을수록 다른 변수와 더 많은 편차 (절대 값으로)를 가질수록, 함께 움직일 수있는 경향이 강해집니다. 공분산의 부호). $\Sigma$

마찬가지로 은 변수가 평균 (대각선 요소) 주위에 얼마나 밀접하게 클러스터되어 있고 다른 변수 (대각선 이외의 요소)와 일치하지 않는 정도를 측정 한 것입니다. 따라서 대각 요소가 높을수록 변수가 평균 주변에 더 군집화됩니다. 비 대각선 요소에 대한 해석은 더 미묘하며 해당 해석에 대한 다른 답변을 참조하십시오. $\Sigma^{-1}$

— 소품
소스

대각선 이외의 요소에 대한 마지막 진술에 대한 강력한 반례 는 두 가지 차원에서 가장 간단한 사소한 예인 더 큰 대각선 이외의 값 은 상관 계수 의 더 극단적 인 값에 해당하며 이는 당신이 말하는 것과 반대입니다.

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

— whuber

@whuber 맞습니다. 마지막 문장에서 '절대'단어를 제거해야합니다. 감사합니다

— prop

고맙지 만 그래도 문제를 해결하지 못합니다. 역의 비 대각선 요소와 공변이 사이의 관계는 존재하지 않습니다.

— whuber

@ whuber 나는 그렇게 생각합니다. 귀하의 예에서, 대각선 이외의 요소는 음수입니다. 따라서, 증가함에 따라 대각선 이외의 요소는 감소합니다. 다음을 참고하여이를 확인할 수 있습니다. 에서 대각선 이외의 요소는 . 로 접근 오프 - 대각 요소들이 접근 및 오프 - 대각선 엘리먼트의 유도체에 대해 부정적이다.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

— prop

때 내 대각선

ρ < 0.

$\rho\lt 0.$

— 이외의

역의 요소를 나타 내기 위해 첨자를 사용하여 변수의 성분의 분산이고 비상 관적이다 다른 변수, 는 변수 와 의 부분 상관 관계로 다른 변수를 제어 합니다. $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

— 레이 쿠프 만
소스