Fisher 기준 가중치를 계산하는 방법은 무엇입니까?

패턴 인식과 기계 학습을 공부하고 있는데 다음 질문에 부딪 쳤습니다.

동일한 사전 등급 확률 클래스 분류 문제를 고려하십시오.

$$P(D_1)=P(D_2)= \frac{1}{2}$$

그리고 각 클래스에서 인스턴스의 분포는

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Fisher 기준 가중치를 계산하는 방법은 무엇입니까?

업데이트 2 : 내 책에서 제공 한 계산 된 가중치는 입니다.$W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

업데이트 3 : @xeon이 암시 한 것처럼 Fisher의 판별자를위한 투영선을 결정해야한다는 것을 이해합니다.

업데이트 4 : 투영선의 방향으로 하자 Fisher 선형 판별법은 최상의 가 기준 함수가 최대화 된 것임을 발견합니다 . 나머지 과제는 어떻게 우리가 수치 적으로 벡터를 얻을 수 있습니까?W $W$$W$$W$

(Mika et al., 1999)에 링크 된 논문에 따르면, 소위 일반화 된 Rayleigh 몫 을 최대화하는 를 찾아야합니다 .$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

여기서 및 공분산 ,C 1 , C$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

해결 방법은 먼저 계산 된 일반 고유 값 문제 하여 찾을 수 있습니다. 을 풀고 고유 벡터 를 풀면 고유 값 됩니다 . 귀하의 경우 이 2x2 행렬 의 결정 요인 은 손으로 계산할 수 있습니다.

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

고유 값이 가장 큰 고유 벡터는 레일리 지수를 최대화합니다. 대신 손으로 계산을하고, 나는 사용하여 파이썬에서 일반화 된 고유치 문제를 해결 scipy.linalg.eig하고있어 당신은 당신의 책에서 볼 수있는 솔루션 다르다. 아래에는 내가 찾은 가중치 벡터의 최적 초평면 (검정색)과 책에서 찾은 가중치 벡터의 초평면이 그려져 있습니다 (빨간색).

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Duda et al. @lucas에 대한 대체 솔루션이있는이 (Pattern CLassification)는이 경우 손으로 솔루션을 계산하기가 매우 쉽습니다. (이 대체 솔루션이 도움이 되길 바랍니다! :))

두 가지 등급의 LDA에서 목표는 다음과 같습니다.

$\frac{w^TS_Bw}{w^TS_Ww}$ 는 클래스 분산 사이의 간격을 늘리고 클래스 내 분산을 줄이는 것을 의미합니다.

여기서 및 , 여기서 는 공분산 행렬이고 는 각각 클래스 1과 2의 평균입니다.$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

이 일반화 된 롤리 지수의 솔루션은 일반화 된 고유 값 프로브입니다.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

상기 제제는 폐쇄 형 용액을 갖는다. 기준으로 랭크 1 행렬 그래서 에 대한 답변을 얻을 normlizd 수있다.$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

방금 계산하고 [0.5547; 0.8321]을 얻었습니다.$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

참고 : Duda, Hart, Stork에 의한 패턴 분류

$\mathbf{SOLUTION 2:}$

또는 일반화 된 고유 값 문제에 대한 고유 벡터를 찾아서 해결할 수 있습니다. $S_Bw = \lambda S_Ww$

람다의 다항식은 의해 형성 될 수 다항식의 해는 의 고유 값이됩니다 . 이제 다항식의 근본으로 고유 값 집합이 있다고 가정 해 . 이제 을 대입하고 방정식의 선형 시스템 에 대한 해당 고유 벡터를 . 각각에 대해이 작업을 수행하면 벡터 집합 을 얻을 수 있으며 솔루션으로 고유 벡터 집합입니다.$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ 이므로 고유 값은 다항식 뿌리 .$6\lambda^2 - 80\lambda$

따라서 0 및 40/3가 두 가지 솔루션입니다. LDA의 경우 가장 높은 고유 값에 해당하는 고유 벡터가 솔루션입니다.$\lambda=$

방정식 시스템에 대한 해 및$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

이는$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

위의 방정식 시스템에 대한 솔루션은 이전 솔루션과 동일한 입니다.$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

또는 는 의 null 공간에 있다고 말할 수 있습니다 .$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

2 클래스 LDA의 경우 고유 값이 가장 높은 고유 벡터가 솔루션입니다. 일반적으로 C 클래스 LDA의 경우 가장 높은 C-1 고유 값에 이르는 첫 번째 C-1 고유 벡터가 솔루션을 구성합니다.

이 비디오는 간단한 고유 값 문제에 대한 고유 벡터를 계산하는 방법을 설명합니다. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

다음은 예입니다. http://www.sosmath.com/matrix/eigen2/eigen2.html

멀티 클래스 LDA : http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

행렬의 널 공간 계산 : https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix