3x3 상관 행렬 완성하기 : 주어진 3 개의 계수 2 개

나는 인터뷰에서이 질문을 받았다.

[ 1 0.6 0.8 0.6 1 γ 0.8 γ 1 ] 형식의 상관 행렬이 있다고 가정하겠습니다 .

$$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$$

이 상관 관계 매트릭스를 감안할 때 감마 값을 찾아야했습니다.
고유 값으로 모두 0 이상이어야하기 때문에 무언가를 할 수 있다고 생각했습니다 (매트릭스는 양의 반올림해야합니다). 트릭이 없습니다.

동일한 문제를 해결하기위한 힌트를 제공해 주시겠습니까?

우리는 이미 가 [ − 1 , $\gamma$ 의 상관 관계 행렬이 semidefinite 긍정적이어야하며, 따라서 그것의 주요한 미성년자가 음수가 아닌 수 있어야$[-1,1]$

따라서,

$$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$$

다음은 더 단순하고 직관적 인 솔루션입니다.

공분산을 추상 벡터 공간에 대한 내부 곱으로 생각하십시오 . 이어서, 상관 행렬의 엔트리는 벡터를위한이 v에 1 , V 2 , V 3 각도 브래킷, ⟨ V 나 , 브이 j는 ⟩ 나타내고 각도 사이의 V I 및 V의 J를 .$\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$$\mathbf{v}_1$$\mathbf{v}_2$$\mathbf{v}_3$$\langle\mathbf{v}_i,\mathbf{v}_j\rangle$$\mathbf{v}_i$$\mathbf{v}_j$

것을 시각화하는 것은 어렵지 않아 에 의해 제한되어 | ⟨ V 1 , V 2 ⟩ ± ⟨ V 1 , V 3 ⟩ | . ITS의 코사인에 바인딩 ( γ는 )이고 따라서 왜냐하면 [ ⟨ V 1 , V 2 ⟩ ± ⟨ V 1 , V 3 ⟩ ] . 그런 다음 기본 삼각법으로 γ ∈ [ $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$$|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$$\gamma$$\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ .$\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

편집 : 참고하는 것이 마지막 행의는 정말 왜냐하면 ⟨ V 1 , V 2 ⟩ 왜냐하면 ⟨ V 1 , V 3 ⟩ ∓ 죄 ⟨ V 1 , V 3 ⟩ 죄 ⟨ V 1 , V 2 ⟩ -0.6과 0.8의 두 번째 출현은 0.6 2 + 0.8 2 = 1로 인해 우연히 발생합니다.$0.6\times 0.8 \mp 0.6\times 0.8$$\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$$0.6^2+0.8^2=1$.

여기에 답에 대한 초기 의견에서 @yangle이 말할 수있는 것으로 생각한 것이 있습니다 (계산을 따르거나 확인하지는 않았지만).

"매트릭스는 양의 반올림이어야합니다" 는 변수 벡터가 유클리드 공간에 묶여 있음을 의미 합니다. 3 개의 벡터 길이가 1로 고정되어 있기 때문에 상관 행렬의 경우 공분산 행렬보다 쉽습니다. 3 개의 단위 벡터 XYZ를 상상하고 이 각도 의 코사인 임을 기억하십시오 . 따라서 cos α = r x y = 0.6 이고 cos β = r y z = 0.8 입니다. cos 의 경계는 무엇입니까? γ = r x $r$$\cos \alpha=r_{xy}=0.6$$\cos \beta=r_{yz}=0.8$$\cos \gamma=r_{xz}$? 이 상관 관계는 Z에 대해 Z를 둘러싸고 정의한 값을 가질 수 있습니다 (유지 각도 ).$r_{yz}=0.8$

그것이 회전함에 따라, 두 위치는 Z가 평면 XY로 떨어질 때 궁극적 인 wrt X로서 현저하다. 하나는 X와 Y 사이에 있고 다른 하나는 Y의 반대편에 있습니다. 이들은 파란색과 빨간색 벡터로 표시됩니다. 이 두 위치에서 XYZ 구성 (상관 행렬)은 단수입니다. 그리고 이것들은 최소 및 최대 각도 (따라서 상관 관계) Z는 wrt X를 얻을 수 있습니다.

평면에서 각도의 합 또는 차이를 계산하기 위해 삼각법을 선택하면 다음과 같은 이점 이 있습니다.

$\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$

이 기하학적 관점은 @rightskewed가 대수적 용어 (사소한 것 등)로 표현 된 것에 대한 또 하나의 (그리고 3D 경우의 구체적이고 간단한) 모습입니다.

Playing around with principal minors may be fine on 3 by 3 or maybe 4 by 4 problems, but runs out of gas and numerical stability in higher dimensions.

이와 같은 단일 "자유"매개 변수 문제의 경우 행렬 psd를 만드는 모든 값 집합이 단일 간격임을 쉽게 알 수 있습니다. 따라서 최소값과 최대 값을 찾는 것으로 충분합니다. 이는 한 쌍의 선형 반 고정 프로그래밍 (SDP) 문제를 수치 적으로 해결하여 쉽게 달성 할 수 있습니다.

1. 매트릭스에 따라 γ를 최소화하는 것은 psd이다.
2. 매트릭스에 따라 γ를 최대화하는 것은 psd이다.

예를 들어, MATLAB에서 YALMIP를 사용하여 이러한 문제를 공식화하고 수치 적으로 해결할 수 있습니다.

1. 감마 = sdpvar; A = [1.6 .8; .6 1 감마; .8 감마 1]; 최적화 (A> = 0, 감마)
2. 최적화 (A> = 0, 감마)

빠르고 쉽고 안정적입니다.

BTW, if the smarty pants interviewer asking the question doesn't know that SemiDefinite Programming, which is well-developed and has sophisticated and easy to use numerical optimizers for reliably solving practical problems, can be used to solve this problem, and many much more difficult variants, tell him/her that this is no longer 1870, and it's time to take advantage of modern computational developments.

Let us consider the following convex set

$$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$$

which is a spectrahedron named $3$-dimensional elliptope. Here's a depiction of this elliptope

Intersecting this elliptope with the planes defined by $x=0.6$ and by $y=0.8$, we obtain a line segment whose endpoints are colored in yellow

The boundary of the elliptope is a cubic surface defined by

$$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$$

If $x=0.6$ and $y=0.8$, then the cubic equation above boils down to the quadratic equation

$$0.96 z - z^2 = z (0.96 - z) = 0$$

Thus, the intersection of the elliptope with the two planes is the line segment parametrized by

$$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$$

Every positive semi-definite matrix is a correlation/covariance matrix (and vice versa).

To see this, start with a positive semi-definite matrix $A$ and take its eigen-decomposition (which exists by the spectral theorm, since $A$ is symmetric) $A=UDU^T$ where $U$ is a matrix of orthonormal eigenvectors and $D$ is a diagonal matrix with eigen values on the diagonal. Then, let $B= U D^{1/2} U^T$ where $D^{1/2}$ is a diagonal matrix with the square root of eignevalues on the diagonal.

Then, take a vector with i.i.d. mean zero and variance 1 entries, $\mathbf{x}$ and note that $B \mathbf{x}$ also has mean zero, and covariance (and correlation) matrix $A$.

Now, to see every correlation/covariance matrix is positive semi-definite is simple: Let $R=E[\mathbf{x}\mathbf{x}^T]$ be a correlation matrix. Then, $R = R^T$ is easy to see, and $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ so the Rayleigh quotient is non-negative for any non-zero $\mathbf{a}$ so $R$ is positive semi-definite.

Now, noting that a symmetric matrix is positive semi-definite if and only if its eigenvalues are non-negative, we see that your original approach would work: calculate the characteristic polynomial, look at its roots to see if they are non-negative. Note that testing for positive definiteness is easy with Sylvester's Criterion (as mentioned in another answer's comment; a matrix is positive definite if and only if the principal minors all have positive determinant); there are extensions for semidefinite (all minors have non-negative determinant), but you have to check $2^n$ minors in this case, versus just $n$ for positive definite.