Python의 scikit-learn LDA가 올바르게 작동하지 않는 이유는 무엇이며 SVD를 통해 LDA를 어떻게 계산합니까?

scikit-learn차원 축소를 위해 기계 학습 라이브러리 (Python) 의 선형 판별 분석 (LDA)을 사용 하고 있었으며 결과에 대해 약간 궁금했습니다. LDA가 무엇을하고 있는지 궁금해서 scikit-learn결과가 예를 들어 수동 접근이나 R에서 수행 된 LDA와 다르게 보일 수 있습니다.

기본적으로 가장 중요한 scikit-plot것은 상관 관계가 있어야하는 두 변수 간의 상관 관계를 보여줍니다.

테스트를 위해 Iris 데이터 세트를 사용했으며 처음 2 개의 선형 판별 변수는 다음과 같습니다.

IMG-1. Scikit-learn을 통한 LDA

이것은 기본적으로 여기 scikit-learn 설명서 에서 찾은 결과와 일치 합니다.

이제 LDA를 단계별로 살펴보고 다른 예상을 얻었습니다. 나는 무슨 일이 일어나고 있는지 알아 내기 위해 다른 접근법을 시도했다.

IMG-2. 원시 데이터에 대한 LDA (센터링 없음, 표준화 없음)

그리고 데이터를 먼저 표준화 (z- 스코어 정규화; 단위 분산)하면 단계별 접근 방식이 있습니다. 나는 평균 중심 화로 만 똑같은 일을했는데, 이는 동일한 상대 투영 이미지로 이어져야합니다 (그리고 실제로 그랬습니다).

IMG-3. 평균 센터링 또는 표준화 후 단계별 LDA

IMG-4. R의 LDA (기본 설정)

데이터를 중심으로 한 IMG-3의 LDA (선호하는 접근법)는 R에서 LDA를 한 사람 이 Post 에서 찾은 것과 정확히 동일하게 보입니다.

참조 코드

여기에 모든 코드를 붙여넣고 싶지는 않지만 LDA 프로젝션에 사용한 여러 단계 (아래 참조)로 나누어 진 IPython 노트북 으로 업로드했습니다 .

1. $$\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k$$

2. 2 단계 : 분산 행렬 계산

   $S_W$
   

   $$S_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T$$

   $S_B$
   

   $$S_B = \sum\limits_{i=1}^{c} n_i (\mathbf m_i - \mathbf m) (\mathbf m_i - \mathbf m)^T$$ $\mathbf m$

3. 3 단계. 행렬 대한 일반 고유 값 문제 해결$S_{W}^{-1}S_B$

   3.1. 고유 값을 줄임으로써 고유 벡터 정렬

   $d \times k$$\mathbf W$

4. $$\mathbf y = \mathbf W^T \times \mathbf x.$$

업데이트 : 이 토론 덕분 scikit-learn에 업데이트되었으며 이제 올바르게 작동합니다. LDA 소스 코드 는 여기에서 찾을 수 있습니다 . 원래 문제는 사소한 버그 때문이었습니다 ( 이 github 토론 참조 ) 내 대답은 실제로 올바르게 지적하지 않았습니다 (혼란이 발생한 사과). 이 모든 것이 더 이상 중요하지 않기 때문에 (버그가 수정되었습니다) SVD를 통해 LDA를 해결할 수있는 방법에 초점을 맞추기 위해 답변을 편집했습니다 scikit-learn.

클래스 내 및 클래스 간 산포 행렬 및 후 표준 LDA 계산은 귀하의 질문에서 지적한 바와 같이 고유 벡터를 취하는 판별 축으로 ( 예 : 여기 참조 ) 그러나 동일한 축을 미백 행렬을 이용하여 약간 다른 방식으로 계산할 수 있습니다.$\boldsymbol \Sigma_W$$\boldsymbol \Sigma_B$$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

1. 계산 . 이것은 풀 클래스 내 공분산과 관련 하여 미백 변환 입니다 (자세한 내용은 링크 된 답변 참조).$\boldsymbol \Sigma_W^{-1/2}$

   고유 분해 인 경우 . 참고 또한 하나 컴퓨팅 풀 내의 클래스의 데이터 SVD를 수행하여 동일한 : .$\boldsymbol \Sigma_W = \mathbf{U}\mathbf{S}\mathbf{U}^\top$$\boldsymbol \Sigma_W^{-1/2}=\mathbf{U}\mathbf{S}^{-1/2}\mathbf{U}^\top$$\mathbf{X}_W = \mathbf{U} \mathbf{L} \mathbf{V}^\top \Rightarrow \boldsymbol\Sigma_W^{-1/2}=\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

2. 의 고유 벡터를 찾기 , 우리가 그들을 부르 자 .$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}$$\mathbf{A}^*$

   다시 말하지만, 클래스 간 데이터 SVD를 수행 하여 변환하여 클래스 내 데이터에 대해 희게 된 클래스 간 데이터를 수행하여이를 계산할 수 있습니다. 공분산.$\mathbf{X}_B$$\boldsymbol \Sigma_W^{-1/2}$

3. 판별 축 는 , 즉 변환 된 데이터의 주 축에 의해 다시 변환됩니다 .$\mathbf A$$\boldsymbol \Sigma_W^{-1/2} \mathbf{A}^*$

   실제로 가 위 행렬의 고유 벡터 인 경우 로부터 승산 남긴 및 정의하는 우리가 바로 수득 :$\mathbf a^*$

   $$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}\mathbf a^* = \lambda \mathbf a^*,$$ $\boldsymbol \Sigma_W^{-1/2}$$\mathbf a = \boldsymbol \Sigma_W^{-1/2}\mathbf a^*$ $$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B \mathbf a = \lambda \mathbf a.$$

요약하면, LDA는 클래스 내 공분산과 관련하여 클래스 평균의 행렬을 희게하고, 클래스 평균에서 PCA를 수행하고, 결과 주축을 원래 (미백) 공간으로 역변환하는 것과 같습니다.

이것은 예를 들어 통계 학습의 요소 , 섹션 4.3.3 에서 지적됩니다 . 에서 scikit-learn이 데이터 매트릭스의 SVD 수치보다 안정적인는 공분산 행렬의 고유 분해보다이기 때문에 LDA를 계산하는 기본 방법입니다.

대신 화이트닝 변환을 사용할 수 있으며 모든 것이 여전히 똑같이 작동합니다. 에서는 사용 (대신 ) 및 그것은 잘 작동합니다 (원래 답변에 쓰여진 것과는 반대로).$\boldsymbol \Sigma_W^{-1/2}$scikit-learn $\mathbf{L}^{-1}\mathbf{U}^\top$$\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

이 질문을 끝내기 위해 LDA와 관련하여 논의 된 문제는 scikit-learn 0.15.2 에서 수정되었습니다 .