선형, 2 차 및 피셔의 판별 분석에 대한 출처의 의견 불일치

판별 분석을 공부하고 있지만 여러 가지 다른 설명을 조정하는 데 어려움을 겪고 있습니다. 나는 전에 (이것으로 보이는) 수준의 불일치에 직면 한 적이 없기 때문에 뭔가 빠진 것이 틀림 없다고 생각합니다. 그러나이 웹 사이트의 판별 분석에 대한 질문의 수는 그 복잡성을 입증하는 것으로 보입니다.

여러 클래스의 LDA 및 QDA

저의 주요 교과서는 Johnson & Wichern Applied Multivariate Statistical Analysis (AMSA)와이를 바탕으로 한 선생님의 메모입니다. 이 설정에서 단순화 된 수식이 적어도 혼란을 유발한다고 생각하기 때문에 두 그룹 설정을 무시합니다. 이 소스에 따르면 LDA와 QDA는 예상되는 오 분류 비용 (ECM)을 기준으로 분류 규칙의 매개 변수 (다변량 정규성 가정) 확장으로 정의됩니다. ECM은 새로운 관측 값 x를 모든 그룹으로 분류하기위한 조건부 예상 비용을 합산하고 (오 분류 비용과 사전 확률 포함)이를 최소화하는 분류 영역을 선택합니다. 여기서

$$ECM = \sum_{i=1}^{groups} p_i [\sum_{k=1;\space i \ne k}^{groups}P(k|i)c(k|i)]$$ $P(k|i) = P(\text{classifying item as group k } | \text{ item is group i}) = \int_{R_k} f_i(\boldsymbol{x})d\boldsymbol{x}$ , $f_i(\boldsymbol{x})$ 은 모집단 밀도이고, $R_k$ 는 그룹 k의 관측 값 세트이며, $c$ 는 비용이며 $p_i$ 는 사전 확률입니다. 그러면 내부 항이 가장 작은 그룹 또는 내부 항의 왼쪽 부분 $p_k f_k(\boldsymbol{x})$ 가 가장 큰 그룹에 새로운 관측 값을 할당 할 수 있습니다

아마도이 분류 규칙은 "후부 확률을 최대화하는 규칙"(sic AMSA)과 동일하며, 내가 언급 한 Bayes의 접근 방식 만 가정 할 수 있습니다. 이 올바른지? ECM은 다른 곳에서 발생하는 것을 본 적이 없기 때문에 오래된 방법입니다.

정규 모집단의 경우이 규칙은 2 차 판별 점수로 단순화합니다. .

$$d_i^Q(\boldsymbol{x}) = -\frac{1}{2} log(\boldsymbol{\Sigma_i}) -\frac{1}{2} (\boldsymbol{x - \mu_i})^T \boldsymbol{\Sigma}_i^{-1}(\boldsymbol{x - \mu_i}) + log(p_i)$$

이것은 동등한 것 통계 학습의 요소 들은 이차 판별으로 설명하지만, (ESL) 110 페이지 식 4.12 함수 보다는 점수 . 또한 다변량 밀도의 로그 비율을 통해 여기에 도달합니다 (4.9). 이것이 베이 즈 접근의 또 다른 이름입니까?

동일한 공분산을 가정하면 공식은 선형 판별 점수로 훨씬 더 단순 해 집니다.

$$d_i(\boldsymbol{x}) = \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1}\boldsymbol{x} -\frac{1}{2} \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{\mu_i} + log(p_i)$$

이 공식은 첫 번째 용어가 반대 인 ESL (4.10)과 다릅니다 : . ESL 버전은 R의 통계 학습에 나열된 버전이기도합니다 . 더욱이, AMSA에 제시된 SAS 출력에서 ​​선형 판별 함수 는 상수 및 계수로 구성됩니다. 벡터 , ESL 버전과 일치하는 것 같습니다.$x^T \boldsymbol{\Sigma}^{-1}\mu_k$$0.5 \bar{X}_j^T COV^{-1}\bar{X}_j + ln \text{ prior}_j$$COV^{-1}\bar{X}_j$

이 불일치의 원인은 무엇입니까?

판별 자와 피셔의 방법

참고 :이 질문이 너무 큰 것으로 간주되면이 섹션을 제거하고 새 질문을 열지 만 이전 섹션에서 작성됩니다. 텍스트의 벽에 대한 사과, 나는 그것을 약간 구조화하기 위해 최선을 다했지만,이 방법에 대한 나의 혼란이 다소 이상한 논리 점프로 이어질 것이라고 확신합니다.

AMSA 책은 여러 그룹에 대한 피셔 방법을 설명합니다. 그러나 ttnphns는 FDA가 단순히 두 그룹을 가진 LDA라는 것을 여러 번 지적했습니다 . 그렇다면이 멀티 클래스 FDA는 무엇입니까? 아마도 FDA는 여러 가지 의미를 가질 수 있습니까?

AMSA는 Fisher의 판별 의 비율을 최대화하는 의 고유 벡터로 설명 합니다. . 선형 조합 은 샘플 판별 는 ). 분류를 위해 대해 가장 작은 값을 가진 그룹 k를 선택합니다. 여기서 r은 사용하려는 판별 자의 수입니다. 모든 판별 변수를 사용하면이 규칙은 선형 판별 함수와 같습니다.$\boldsymbol{W^{-1}B}$$\boldsymbol{\frac{\hat{a}^TB\hat{a}}{\hat{a}^TW\hat{a}}}$$\boldsymbol{\hat{e}_ix}$$min(g-1, p)$$\sum_{j=1}^{r}[\boldsymbol{\hat{e}_j^T}(\boldsymbol{x}-\boldsymbol{\bar{x}}_k)]^2$

LDA에 대한 많은 설명 은 AMSA 책에서 FDA라고 불리는 방법론을 설명하는 것으로 보입니다. 즉, 가변성 측면 / 범위 내에서 시작합니다. BW 매트릭스의 분해가 아닌 경우 FDA는 무엇을 의미합니까?

교과서가 판별 분석의 차원 축소 측면을 언급 한 것은 이번이 처음이지만, 이 사이트의 여러 답변 은이 기술의 2 단계 특성을 강조하지만 1 개만 있기 때문에 두 그룹 설정에서는 명확하지 않습니다. 판별력. 멀티 클래스 LDA 및 QDA에 대한 위의 공식을 감안할 때, 판별 요소가 나타나는 위치는 여전히 명확하지 않습니다.

이 의견 은 베이 즈 분류가 원래 변수에 대해 본질적으로 수행 될 수 있음을 지적하면서 특히 혼란 스러웠습니다. 그러나 FDA와 LDA가이 책과 여기 에서 지적한 바와 같이 수학적으로 동등하다면 , 차원 축소가 함수에 내재되어 있지 않아야 하는가? 나는 이것이 마지막 링크가 해결하는 것이라고 믿지만 완전히 확신하지는 못한다.$d_i$

선생님의 강의 노트는 FDA가 본질적으로 정식 상관 분석의 한 형태라고 설명합니다. 나는 이 측면에 대해 이야기하는 다른 소스 를 1 개 찾았 지만 다시 한 번 사이와 가변 범위 내에서 분해하는 Fisher 접근법과 밀접한 관련이있는 것으로 보입니다. SAS는 피셔의 방법 ( https://stats.stackexchange.com/a/105116/62518 ) 과 관련이있는 LDA / QDA 절차 (DISCRIM)에 결과를 제시합니다 . 그러나 SAS의 FDA 옵션 (CANDISC)은 피셔의 분류 계수를 나타내지 않고 정식 상관 관계를 수행합니다. 그것은 lda (MASS)에 의해 얻은 R의 W-1B 고유 벡터와 동등한 것으로 생각되는 원시 표준 계수를 제시합니다 (https://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_candisc_sect019.htm ). 분류 계수는 LDA 및 QDA 섹션에 설명 된 판별 함수 (인구 당 하나의 함수가 있고 가장 큰 함수를 선택하기 때문에)에서 얻은 것으로 보입니다.

나는 나무를 통해 숲을 볼 수있게 해주는 출처에 대한 모든 설명이나 언급에 대해 감사하게 생각합니다. 혼동의 주된 원인은 다른 교과서가 다른 이름으로 방법을 호출하거나 다른 가능성을 인정하지 않고 수학의 약간의 변형을 제시하는 것으로 보입니다 .AMSA 서적의 나이를 고려할 때 놀라운 일은 아니지만 .

나는 질문의 한 측면만을 다루고 있으며 대수없이 직관적으로 수행하고 있습니다.

경우] 클래스가 동일한 분산 공분산 행렬이 상기 자신의 무게 중심의 이동 만 다른 차원 공간 그들은 완전히 선형 적 분리 가능한 "서브 스페이스". 이것이 LDA가하는 일입니다. 변수 의 공간에 세 개의 동일한 타원체가 있다고 가정하십시오 . 오류없이 클래스 멤버십을 예측하려면 모든 변수의 정보를 사용해야합니다. 그러나 이것들이 같은 크기와 방향의 구름이라는 사실 때문에, 단위 반경의 볼로의 일반적인 변형에 의해 구름의 크기를 재조정 할 수 있습니다. 그런 다음$g$$p$$q=min(g-1,p)$$V_1, V_2, V_3$$q=g-1=2$독립적 인 차원은 클래스 멤버십을 예전처럼 정확하게 예측하기에 충분할 것입니다. 이러한 차원을 판별 함수 라고합니다 . 3 개의 동일한 크기의 볼이 있으면 2 개의 축선 만 있으면되고 모든 포인트를 올바르게 할당하기 위해 볼의 중심 좌표를 알아야합니다.$D_1, D_2$

판별 변수는 상관 관계가없는 변수이며 클래스 내 공분산 행렬은 이상적으로 동일합니다 (공). 판별 변수는 원래 변수 공간의 하위 공간을 형성합니다. 이들은 선형 조합입니다. 그러나 회전과 같은 (PCA와 같은) 축은 아닙니다 . 원래 변수 공간에서 볼 수 있고, 축과 같은 판별 변수는 서로 직교하지 않습니다 .

따라서 분류에 사용하는 클래스 내 분산 공분산 LDA의 동질성을 가정 하면 기존의 모든 판별 변수를 원래 변수로 즉시 분류하는 것보다 나쁘지 않습니다. 그러나 모든 판별자를 사용할 필요는 없습니다. 가장 강력하고 통계적으로 중요한 만 사용할 수 있습니다 . 이렇게하면 분류에 필요한 최소한의 정보를 잃어 버리고 분류 오류가 최소화됩니다. 이러한 관점에서 볼 때 LDA는 PCA와 유사한 데이터 축소이며 감독 만 가능합니다.$m<q$

동질성 (+ 다변량 정규성)을 가정하고 분류에서 모든 판별자를 사용할 계획이라면, 고유 한 고유 문제가 포함 된 판별 자 자체 의 추출 을 우회하고 소위 "피셔 분류 함수"를 계산할 수 있습니다. 위하여 직접 변수의 분류 와 그 등가 결과. 따라서 클래스의 모양이 동일 할 때 입력 변수 또는 Fisher의 함수 또는 판별자를 모든 동등한 "분류기"세트로 간주 할 수 있습니다. 그러나 많은 점에서 판별자가 더 편리합니다. $g$$p$$g$$q$$^1$

일반적으로 클래스는 실제로 "동일한 타원"이 아니기 때문에 판별 변수에 의한 분류는 모든 원래 변수에 의해 베이 즈 분류를 수행하는 경우보다 다소 나쁩니다 . 예를 들어, 이 그림 에서 두 타원체는 서로 평행하지 않습니다. 그리고 하나의 기존 판별자가 두 변수가 허용하는 한 정확하게 포인트를 분류하기에 충분하지 않다는 것을 시각적으로 파악할 수 있습니다. QDA (quadratic discriminant analysis)는 LDA보다 한 단계 더 나은 근사치입니다. LDA와 QDA 사이의 실제적인 접근 절반 방법은 LDA-판별 식을 사용하지만 분류에서 자신의 관찰 별도의 클래스 공분산 행렬을 사용하는 것입니다 ( 참조 , 참조$q$$p$)를 풀링 된 행렬 (즉, ID) 대신

(자세히, MANOVA와 정식 상관 관계 분석 또는 감소 된 순위 다변량 회귀 심지어 특정 케이스에 관련된으로 그리고 네, LDA 볼 수 있습니다 - 참조 , 참조 , 참조 .)

---

$^1$ 중요한 용어입니다. 다음은 몇 가지 텍스트에서 혼동있다 피셔 분류 기능 "피셔의 판별 함수"를 호출 할 수 있으며, 이다 discriminats 정규 의 eigendecomposition 얻어진 판별 함수 (즉,$g$$q$$\bf W^{-1}B$). 명확하게하기 위해, 나는 "피셔 분류 함수"대 "정규 판별 함수"(= 판별 변수)를 말하는 것이 좋습니다. 현대의 이해에서 LDA는 표준 선형 판별 분석입니다. "피셔의 판별 분석"은 적어도 2 가지 클래스를 가진 LDA (단일 정식 판별자가 Fisher의 분류 함수와 필연적으로 동일한 것임) 또는 다중 클래스 설정에서 Fisher 분류 함수의 계산 중 하나입니다.