로지스틱 회귀 분석의 순위 기능

로지스틱 회귀를 사용했습니다. 6 가지 기능이 있는데이 분류기의 다른 기능보다 결과에 더 많은 영향을 미치는 중요한 기능을 알고 싶습니다. Information Gain을 사용했지만 사용 된 분류 기준에 의존하지 않는 것 같습니다. 로지스틱 회귀와 같은 특정 분류 기준에 따라 중요도에 따라 기능의 순위를 매기는 방법이 있습니까? 도움을 주시면 감사하겠습니다.

나는 당신이 찾고있는 대답이 Boruta 알고리즘 일 것이라고 생각합니다 . 이것은 "모든 관련성"의미에서 기능의 중요성을 직접 측정하고 R 패키지로 구현되는 래퍼 방법으로, 기능 의 중요성이 y 축에 있고 y 축과 비교 되는 위치 와 같은 멋진 플롯을 생성 합니다. 여기에 파란색으로 표시되어 있습니다. 이 블로그 게시물 은 접근 방식을 설명하며 매우 명확한 소개로 읽을 것을 권장합니다.

회귀 모형의 중요도에 따라 변수 순위를 매기는 방법을 이해하기 시작하려면 선형 회귀부터 시작할 수 있습니다. 선형 회귀 모델에서 변수의 중요도를 평가하는 일반적인 방법은 를 각 변수에 기여한 기여도 로 분해하는 것 입니다. 그러나 변수의 상관 관계로 인해 선형 회귀 분석에서 변수의 중요성은 간단하지 않습니다. PMD 방법을 설명하는 문서를 참조하십시오 (Feldman, 2005) [ 3 ]. 또 다른 대중적인 접근 방식은 주문에 대한 평균화입니다 (LMG, 1980) [ 2 ].$R^2$

$R^2$

로지스틱 회귀 모델에서 기능 중요도를 평가하는 일반적인 방법 목록은 다음과 같습니다.

1. $R^2$
2. 적절성 : 각 예측 변수가 개별적으로 설명 할 수있는 전체 모형 로그 우도의 비율
3. 일치 성 : 양성 반응 변수와 음성 반응 변수를 구별 할 수있는 모델의 능력을 나타냅니다. 각 예측 변수에 대해 별도의 모델이 구성되며 중요도 점수는 해당 예측 변수 만 기반으로하는 참 양성의 예측 확률입니다.
4. 정보 값 : 정보 값은 예측 변수에서 얻은 결과에 대한 정보의 양을 정량화합니다. 다른 예측 변수를 고려하지 않고 각 예측 변수의 분석을 기반으로합니다.

참고 문헌 :

1. 로지스틱 회귀 분석에서 설명 변수의 상대적 중요성 측정
2. R에서 선형 회귀 분석기의 상대적 중요성
3. 상대 중요성 및 가치, Barry Feldman (PMD 방법)

$$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda {{\left\| {\bf{w}} \right\|}^2}}$$ $x_i$$y_i$$i$$\mathbf{w}$$b$${{f_{w,b}}({x_i})}$

$\mathbf{x}$$\mathbf{x}$

$\ell_1$

$$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda \left| {\bf{w}} \right|}$$

$\lambda$$\mathbf{w}$

이게 도움이 되길 바란다. 추가 질문이 있는지 물어보십시오.