선형 판별 분석에 대한 베이지안 및 피셔의 접근 방식

LDA를 수행하는 두 가지 접근 방식, 베이지안 접근 방법 및 피셔 접근 방법을 알고 있습니다.

데이터 가 있다고 가정합니다 . 여기서 는 차원 예측 변수이고 는 클래스 의 종속 변수입니다 .$(x,y)$$x$$p$$y$$K$

하여 베이지안 접근 , 우리는 후방 계산 , 그리고 책에서 가 Gaussian 이라고 가정 하면 번째 클래스에 대한 판별 함수는 이제 , 가 선형임을 알 수 있습니다 함수 이므로 모든 클래스에 대해 선형 판별 함수가 있습니다.

$$p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)$$ $p(x|y_k)$$k$ $$\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}$$ $f_k(x)$$x$$K$$K$

그러나하여 피셔 방법 , 우리는 프로젝트하려고 로 새로운 기능이 최소화 추출 차원 공간 내 수준 변화 및 극대화 간의 수준 차이를하자 투영 매트릭스라고 각 열에 투영되고 함께 방향. 이 방법은 치수 축소 기술 과 비슷합니다 .$x$$(K-1)$$W$

내 질문은

(1) 베이지안 접근 방식을 사용하여 차원 축소를 수행 할 수 있습니까? 우리는 베이지안 접근법을 사용하여 새로운 가장 큰 값을 제공 하는 판별 함수 를 찾아 분류를 수행 할 수 있지만,이 판별 함수 를 사용하여 를 더 낮은 차원의 부분 공간 으로 투영 할 수 있습니다 ? Fisher의 접근 방식 과 동일 합니다.$f_k(x)$$x^*$$f_k(x)$$x$

(2) 두 방법이 서로 어떻게 관련되어 있습니까? 하나는 값으로 분류 할 수있는 것처럼 보이고 다른 하나는 주로 치수 축소를 목표로 하기 때문에 그들 사이에는 아무런 관계가 없습니다 .$f_k(x)$

최신 정보

ESL 책에 따르면 @amoeba 덕분에 나는 이것을 발견했다.

이것은 베이 즈 정리를 통해 도출 된 선형 판별 함수이며 모든 공분산 행렬 갖는 모든 클래스를 가정합니다 . 그리고이 판별 함수는 위에서 쓴 와 같은 SAME 입니다.$\Sigma$$f_k(x)$

내가 사용할 수 투사되는 방향으로 치수 감소를 수행하기 위해? 확실하지 않습니다. AFAIK 이후, 군간 편차 분석을 통해 치수 축소를 달성 할 수 있습니다.$\Sigma^{-1}\mu_k$$x$

다시 업데이트

섹션 4.3.3에서 이러한 예측이 도출 된 방식입니다.

물론 클래스 간 공유 공분산을 가정합니다. 즉, 공분산 행렬 (클래스 내 공분산의 경우)입니다$W$ . 내 문제는 데이터 에서이 를 어떻게 계산 합니까? 데이터에서 를 계산하려고하면 개의 클래스 내 공분산 행렬 이 있기 때문에 . 그래서 내가해야합니까 풀 공통의 하나를 얻기 위해 함께 모든 클래스의 공분산을?$W$$K$$W$

나는 짧은 비공식적 인 답변을 제공 하고 자세한 내용 은 통계 학습의 4.3 단원을 참조 하십시오.

업데이트 : "요소는"훌륭한 세부 사항에 커버 일어날 정확하게 당신이 당신의 업데이트에 쓴 포함하여 여기에 요구하는 질문. 관련 섹션은 4.3이며, 특히 4.3.2-4.3.3입니다.

(2) 두 방법이 서로 어떻게 관련되어 있습니까?

확실히 그렇습니다. "Bayesian"접근 방식은보다 일반적이며 각 클래스에 대한 가우시안 분포 만 가정합니다. 가능성 함수는 기본적으로 에서 각 클래스의 중심 까지의 Mahalanobis 거리입니다 .$x$

물론 각 클래스마다 의 선형 함수라는 것이 맞습니다 . 그러나 두 개의 다른 클래스에 대한 가능성의 비율 (실제 분류를 수행하기 위해 사용할 것, 즉 클래스 중에서 선택)- 다른 클래스가 다른 경우이 비율은 에서 선형이 아닙니다. 공분산 행렬. 실제로 클래스 사이의 경계를 해결하면 2 차로 밝혀 지므로 2 차 판별 분석 (QDA) 이라고도 합니다.$x$$x$

중요한 통찰력 하나는 모든 클래스가 동일한 공분산 있다고 가정하면 방정식은 상당히 단순화이다 [ 업데이트 : 당신이 모두 함께 그것을 가정하는 경우, 이것은 오해의 일부가되었을 수 있습니다] . 이 경우 의사 결정 경계가 선형이되므로이 절차를 선형 판별 분석 (LDA)이라고합니다.

이 경우 수식이 실제로 Fisher가 자신의 접근 방식을 사용하여 수행 한 것과 정확히 일치 함을 알기 위해서는 대수적 조작이 필요합니다. 이것을 수학적 정리로 생각하십시오. 모든 수학에 대한 Hastie의 교과서를 참조하십시오.

(1) 베이지안 접근 방식을 사용하여 차원 축소를 수행 할 수 있습니까?

"Bayesian approach"가 각 클래스에서 서로 다른 공분산 행렬을 다루는 것을 의미한다면, 아닙니다. 적어도 내가 쓴 내용 때문에 LDA와 달리 선형 차원 축소는 아닙니다.

그러나 공유 공분산 행렬을 가정하면 "Bayesian 접근 방식"이 LDA와 동일하기 때문입니다. 그러나 Hastie 4.3.3을 확인하면 에서 올바른 투영이 제공되지 않는다는 것을 알 수 있습니다 (이것이 무엇을 의미하는지 이해조차하지 못합니다. , 그리고 일반적으로 투영은 모든 클래스의 모든 점을 동일한 저 차원 매니 폴드에 투영하는 방법입니다.) 그러나 먼저 , 여기서 은 클래스 centroids 의 공분산 행렬입니다 .$\Sigma^{-1} \mu_k$$k$$\boldsymbol \Sigma^{-1} \mathbf{M}$$\mathbf{M}$$\mu_k$