LDA에서“선형 판별 계수”는 무엇입니까?

에서 라이브러리의 함수를 R사용 하여 분류를 수행합니다. LDA를 이해하면 입력 에 레이블 가 할당되어 를 최대화 합니까?ldaMASS $x$ $y$ $p(y|x)$

그러나

엑스 = (엘 ㅏ 지 1, 엘 ㅏ 지 2)

$x=(Lag1,Lag2)$

와이 = 디 나는 아르 자형 이자형 씨 티 나는 영형 엔,

$y=Direction,$ 모델에 적합하면 의 출력을 이해하지 못합니다 lda.

편집 : 아래 출력을 재현하려면 먼저 실행하십시오.

library(MASS)
library(ISLR)

train = subset(Smarket, Year < 2005)

lda.fit = lda(Direction ~ Lag1 + Lag2, data = train)

> lda.fit
Call:
lda(Direction ~ Lag1 + Lag2, data = train)

Prior probabilities of groups:
    Down       Up 
0.491984 0.508016 

Group means:
            Lag1        Lag2
Down  0.04279022  0.03389409
Up   -0.03954635 -0.03132544

Coefficients of linear discriminants:
            LD1
Lag1 -0.6420190
Lag2 -0.5135293

위 출력의 모든 정보를 이해하지만 한 가지는 무엇 LD1입니까? 웹에서 검색합니다. 선형 판별 점수 입니까? 그게 무엇이고 왜 필요합니까?

최신 정보

나는 (예 : 여러 게시물 읽기 이 와 이 일을 ) 또한 DA에 대한 웹 검색, 지금 여기에 내가 DA 또는 LDA에 대한 생각입니다.

분류를 수행하는 데 사용할 수 있으며 이것이 목적인 경우 Bayes 접근 방식을 사용할 수 있습니다. , 각 클래스 의 사후 $p(y|x)$ 를 계산 한 다음 를 가장 높은 클래스로 분류 할 수 있습니다 후부. 이 접근 방식으로 판별자를 전혀 찾을 필요가 없습니다. $y_i$ $x$
I는 게시물 읽으면서 DA 또는은 적어도 LDA 주로 대상으로 차원 축소 를 위해, $K$ 클래스 및 $D$ -dim 예측기 공간, I 프로젝트 수 $D$ -dim $x$ 신규로 $(K-1)$ -dim 특징 공간의 $z$ 즉,
$\begin{aligned} 엑스 & = ({엑스}_{1}, . . ., {엑스}_{디}) \\ 지 & = (지_{1}, . . ., 지_{케이 - 1}) \\ 지_{나는} & = 승_{나는}^{티} 엑스 \end{aligned}$ $\begin{align*}x&=(x_1,...,x_D)\\z&=(z_1,...,z_{K-1})\\z_i&=w_i^Tx\end{align*}$ , $z$ 는 원래 $x$ 에서 변환 된 특징 벡터로 볼 수 있으며, 각 $w_i$ 는 $x$ 가 투영되는 벡터입니다.

위의 진술에 대해 내가 맞습니까? 그렇다면 다음 질문이 있습니다.

판별 기란 무엇입니까 ? 벡터 각 항목 $z_i$ 가 판별 변수입니까? 또는 ? $z$ $w_i$
판별자를 사용하여 분류하는 방법은 무엇입니까?

r discriminant-analysis inference

— 아보카도
소스

LDA에는 추출과 분류의 두 가지 단계가 있습니다. 추출시, 입력 변수의 선형 조합으로 판별 변수라는 잠재 변수가 형성됩니다. 선형 조합의 계수를 판별 계수라고합니다. 이것들은 당신이 요구하는 것입니다. 2 단계에서는 데이터 변수가 원래 변수가 아닌 해당 판별 자에 의해 클래스에 지정됩니다. 자세한 내용을 보려면 discriminant analysis이 사이트를 검색 하십시오.

— ttnphns 2012

선형 판별 점수는 판별 기준에 따른 데이터 포인트의 값이므로 회귀 계수와 같은 판별 계수와 혼동하지 마십시오. 자세한 답변은 여기를 참조 하십시오 .

— ttnphns 2019

@ttnphns, 감사합니다. DA에 대한 자세한 내용을 읽겠습니다. BTW, 입력

를 분류하려면 모든 클래스 의 사후

를 계산 한 다음 사후가 가장 높은 클래스를 선택 해야 한다고 생각 했습니다. 그리고 나는 왜 후방 계산에

필요한지 알지 못합니다 .

X

$X$

p (y | x)

$p(y|x)$

L D 1

$LD1$

— 아보카도

원래 변수를 기반으로 베이 즈 규칙 분류를 수행 할 수 있습니다 . 그러나 이것은 판별 분석이 아닙니다. LDA의 필수 부분은 차원 축소로, 원래 변수 분류기를 소수의 미분 분류 기인 판별기로 대체 할 수 있습니다. LDA의 아이디어와 수학을 설명하는 글을 읽어보십시오.

— ttnphns 2019

@ttnphns, 나는 당신이 위의 의견에 링크 된 게시물을 읽고 있습니다; ;-)

— avocado

답변:

각 값을 곱하면 LDA1 $-0.6420190\times$ Lag1 $+ -0.5135293\times$ Lag2

아래 차트는 질문에 사용 된 데이터 세트의 점수, 사후 확률 및 분류 간의 관계를 보여줍니다. 기본 패턴은 항상 두 그룹 LDA를 유지합니다. 점수와 사후 확률 사이에는 일대일 매핑이 있으며 사후 확률 또는 점수로 만들 때 예측은 동일합니다.

하위 질문 및 기타 의견에 대한 답변

LDA를 치수 축소에 사용할 수 있지만이 예에서는 진행되지 않습니다. 두 그룹을 사용하면 관측 당 단일 점수 만 필요한 이유는 이것이 전부이기 때문입니다. 한 그룹에있을 확률이 다른 그룹에있을 확률을 보완하기 때문입니다 (즉, 1에 더함). 차트에서이를 확인할 수 있습니다. -.4 미만의 점수는 다운 그룹 에 속하는 것으로 분류되며 높은 점수는 업 입니다.
때때로 점수 벡터는이라고합니다 discriminant function. 때로는 계수를 이것을이라고합니다. 어느 쪽이 맞는지 확실하지 않습니다. MASS discriminant가 계수를 참조 한다고 생각합니다 .
MASS 패키지의 lda기능은 대부분의 다른 LDA 소프트웨어와 다른 방식으로 계수를 생성합니다. 대안적인 접근법은 각 그룹에 대한 하나의 계수 세트를 계산하고 각 계수 세트는 절편을 갖는다. 이러한 계수를 사용하여 판별 함수 (점수)를 사용하면 분류가 가장 높은 점수를 기반으로하며 분류를 예측하기 위해 사후 확률을 계산할 필요가 없습니다. MASS함수를 수정하는 GitHub에 LDA 코드를 넣었 지만 더 편리한 계수를 생성합니다 (패키지를 호출 Displayr/flipMultivariates하고 객체를 사용하여 객체를 LDA만들면을 사용하여 계수를 추출 할 수 있음 obj$original$discriminant.functions).
이 게시물의 모든 개념을 코드로 R을 게시 했습니다 .
점수에서 사후 확률을 계산하기위한 단일 공식은 없습니다. 옵션을 이해하는 가장 쉬운 방법은 다음을 사용하여 소스 코드를 보는 것입니다.

library(MASS) getAnywhere("predict.lda")

— 팀
소스

I'm not clear on whether either [word use] is correct"차별 함수", 즉 "차별"은 추출 된 변수-변수, 차원입니다. 따라서 입력 변수에서 값을 평가하기위한 계수 (가중치)와 점수로 값이 구분됩니다. PCA의 PC와 똑같습니다. 따라서 "차별 계수"와 "차별 점수"가 올바른 사용법입니다.

— ttnphns 2019

@ttnphns, 용어의 사용법은 매우 명확하고 모호하지 않습니다. 그러나 주제에 대한 많은 게시물과 출판물에 나오는 사용법은 아닙니다. 단어 의미만으로 볼 때, "차별 함수"가 수학 함수 (즉, 합산 및 계수)를 참조해야한다는 것이 분명하지만, 이것이 널리 사용되는 것은 분명하지 않습니다.

— Tim

@ 코드에 대해 게시 한 링크가 죽었 으면 코드를 답변에 복사 할 수 있습니까?

— baxx

이 기능의 배후 이론은 "여러 인구 사이의 차별을위한 피셔의 방법"입니다. 적용되는 다변량 통계 분석 (ISBN : 9780134995397)의 11.6 장을 참조하십시오.

— 모건 주
소스