LDA의 대수. 변수 및 선형 판별 분석의 피셔 식별 능력

분명히,

Fisher 분석은 클래스 간 분산을 최소화하면서 동시에 클래스 간 분리를 최대화하는 것을 목표로합니다. 변수의 판별력에 대한 유용한 측정 값은 대각선 양 됩니다.$B_{ii}/W_{ii}$

http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html

p x p사이 ( B )와 클래스 내 ( W ) 행렬 의 크기 ( ) 는 입력 변수의 수에 의해 주어진다는 것을 이해합니다 p. 이를 감안할 때 가 어떻게 단일 변수의 "차별 능력의 유용한 척도"가 될 수 있습니까? 행렬 B와 W를 구성하려면 두 개 이상의 변수가 필요하므로 각 트레이스는 두 개 이상의 변수를 나타냅니다.$B_{ii}/W_{ii}$

업데이트 : 가 트레이스에 대한 트레이스가 아니라 합계를 암시하는 매트릭스 요소 를 나눈 것이라고 생각 합니까? 현재는 개념과 표현을 조화시킬 수있는 유일한 방법입니다. B i i W i $B_{ii}/W_{ii}$$B_{ii}$$W_{ii}$

다음은 질문에 대한 답변으로 선형 판별 분석 (LDA) 에 대한 짧은 이야기입니다 .

우리가 구별 할 변수와 그룹 (클래스) 이 하나있을 때 이것은 분산 분석입니다. 변수의 변별력은 S S 군간 / S S 그룹 내 , 또는 B / W .$k$$SS_\text{between groups} / SS_\text{within groups}$$B/W$

변수 가 있으면 이것은 MANOVA입니다. 변수가 전체 표본 또는 그룹 내에서 상관되지 않은 경우 위의 판별력 B / W 가 유사하게 계산되고 t r a c e ( S b ) / t r a c e ( S w ) 로 기록 될 수 있습니다. 여기서 S w 이다 풀링 집단 내 산란 행렬 (즉, 합계 케이 SSCP 행렬 , 각 그룹의 중심을 중심으로 변수의); S $p$$B/W$$trace(\bf{S_b})$$/trace(\bf{S_w})$$\bf{S_w}$$k$ p x p $\bf{S_b}$는 군간 산란 행렬 이며, 여기서 S t 는 전체 데이터에 대한 산란 행렬입니다 (대형 중심을 중심으로하는 변수의 SSCP 행렬입니다. "산란 행렬"은 편차가없는 공분산 행렬입니다. sample_size-1 기준)$=\bf{S_t}-\bf{S_w}$$\bf{S_t}$

변수 사이에 약간의 상관 관계가 있고 일반적으로 존재하는 경우 위의 는 더 이상 스칼라가 아닌 행렬 인 S - 1 w S b 로 표현됩니다 . 이것은 단순히이 "전체적인"차별 뒤에 숨겨져 있고 부분적으로 공유하는 p 개의 차별적 변수가 있기 때문입니다.$B/W$$\bf{S_w^{-1} S_b}$$p$

이제, 우리는 MANOVA 및 분해 잠수 할 수 새로운 서로 직교로 잠재 변수 (그 수는 m이 I N ( P , K - 1 ) 라고 함) 판별 함수 또는 판별 식을 - 1 최강 인 우리는 Priprial component analysis에서하는 것과 마찬가지로 우리는 원래의 상관 변수를 차별적 힘의 손실없이 상관없는 판별 자로 대체합니다. 다음의 각 판별 변수가 약하고 약하기 때문에 첫 번째 m 의 작은 하위 집합을 사용할 수 있습니다.$\bf{S_w^{-1} S_b}$$min(p,k-1)$$m$차별적 권력을 크게 상실하지 않는 판별 자 (다시 말해서 PCA 사용 방법과 유사). 이것은 차원 축소 기술 에서 LDA 의 본질입니다 (LDA는 베이 즈의 분류 기술이지만 이것은 완전히 별개의 주제입니다).

따라서 LDA는 PCA와 유사합니다. PCA는 "상관성"을 분해하고 LDA는 "분리 성"을 분해합니다. LDA에서 "분리"를 표현하는 위의 행렬이 대칭 적이 지 않기 때문에 바이 패스 대수 기법이 고유 값과 고유 벡터를 찾는 데 사용됩니다 1 . 각 판별 함수 (잠재 변수)의 고유 값은 첫 번째 단락에서 말한 차별적 힘 B / W 입니다. 또한 상관 관계가 없지만 판별 변수가 원래의 가변 공간에 그려진 축과 기하학적으로 직교하지는 않습니다 .$^1$$B/W$

읽고 싶은 잠재적으로 관련된 몇 가지 주제 :

LDA는 MANOVA는 잠재적 구조 분석에 "깊게"및 정규 상관 분석의 특별한 경우 (AS 사이 정확한 등가 인 예 ). LDA가 객체를 분류 하는 방법 과 Fisher의 계수는 무엇입니까? (나는 내가 기억하는 것처럼 내 자신의 답변에만 링크하지만이 사이트의 다른 사람들로부터도 좋고 좋은 답변이 많이 있습니다).

LDA 추출 단계 계산은 다음과 같습니다. 고유 값 ( L 의) S - 1 w S의 B는 대칭 행렬과 동일하다 ( U - 1 ) ' S B U - 1 , U는 은 IS촐레 루트의 S w : 상부 삼각 행렬있다 U ' U = S w . S - 1 w S b 의 고유 벡터는 V 로 주어집니다.$^1$ $\bf L$$\bf{S_w^{-1} S_b}$$\bf{(U^{-1})' S_b U^{-1}}$$\bf U$$\bf{S_w}$$\bf{U'U=S_w}$$\bf{S_w^{-1} S_b}$ , 여기서 E는 상기 행렬의 고유 벡터이다 ( U - 1 ) ' S B U - 1 . (참고 : U는 삼각형되고,반전 될 수있다- 낮은 수준의 언어를 사용 - 빠른 패키지의 표준 일반적인 "INV"기능을 사용하는 것보다.)$\bf{V=U^{-1} E}$$\bf E$$\bf{(U^{-1})' S_b U^{-1}}$$\bf U$

방법 의 설명 된 고유 고유 분해 방법은 일부 프로그램 (예 : SPSS)에서 실현되는 반면 다른 프로그램에서는 "quasi zca-whitening"방법이 실현됩니다. 동일한 결과를 제공하며 다른 곳에 설명되어 있습니다 . 여기 요약 : 대한 매트릭스를 ZCA은 미백 얻을 S 승 - 대칭 평방 루트. S - (1) / 2 승 (eigendecomposition을 통해 이루어집니다 무엇을); 다음의 eigendecomposition S - 1 / 2 w S B S - 1 $\bf{S_w^{-1} S_b}$$\bf{S_w}$$\bf S_w^{-1/2}$ (대칭 행렬 인) 판별 고유 수율L고유 벡터를, 이로써 판별 고유 벡터V=S - 1 / 2 w . "quaz zca-whitening"방법은Sw및Sb산란 행렬을 사용하는 대신 대소 문자 별 데이터 집합의 단일 값 분해를 통해 수행되도록 다시 작성할 수 있습니다. 계산 정밀도 (근거리 특이 상황에서 중요한 것)를 추가하지만 속도는 희생됩니다.$\bf S_w^{-1/2} S_b S_w^{-1/2}$$\bf L$$\bf A$$\bf V= S_w^{-1/2} A$$\bf S_w$$\bf S_b$

$\bf \Gamma = \sqrt{L/(L+1)}$$B/W$$B/T$

$\bf V$

$\bf {C}= \it \sqrt{N-k} ~\bf V$$\bf XC$$\bf X$

$\bf {C_0} \it = -\sum^p diag(\bar{X}) \bf C$$diag(\bar{X})$$\sum^p$

$\bf {K} \it = \sqrt{diag \bf (S_w)} \bf V$$\bf S_w$

$\bf R= \it diag \bf (S_w)^{-1} \bf S_w V$

홍채 데이터 의 판별 분석의 추출 단계의 전체 출력을 참조 하십시오 .

이 멋진 나중에 답변을 읽으 십시오. 여기서 내가했던 것과 조금 더 공식적으로 설명하고 자세히 설명합니다.

이 질문은 LDA를 수행하기 전에 데이터를 표준화하는 문제를 다룹니다.