대안과 로지스틱 회귀의 실제 및 해석 차이점은 무엇입니까?

R의 로지스틱 회귀에 대한 대안에 대한 최근의 질문은 randomForest, gbm, rpart, bayesglm 및 일반화 된 가산 모델을 포함한 다양한 답변을 산출했습니다. 이 방법들과 로지스틱 회귀의 실제적이고 해석상의 차이점은 무엇입니까? 로지스틱 회귀와 관련하여 어떤 가정을 만들거나 만들지 않습니까? 가설 검정에 적합합니까? 기타.

면책 조항 : 그것은 질문에 대한 완전한 답변이 아닙니다.

나는 그러한 모든 방법 사이에 구별을 설정하기 전에 고려해야 할 두 가지 수준이 있다고 생각합니다.

• 단일 모델의 적합 여부 : 로지스틱 회귀 vs. RF 또는 그라디언트 부스팅 (또는 일반적으로 Ensemble 방법 ) 과 같은 반대되는 방법에 도움이 되며 매개 변수 추정 (관련된 점근선 또는 부트 스트랩 신뢰 구간과 함께) 대 분류 또는 예측 정확도 계산;
• 모든 변수가 고려 되는지 여부 : 이것은 처벌 또는 정규화가 "불규칙한"데이터 세트 (예 : 큰 및 / 또는 작은 ) 에 대처 하고 결과의 일반 화성을 향상 시킨다는 점에서 기능 선택의 기초입니다 .$p$$n$

다음은 질문과 관련이 있다고 생각되는 몇 가지 사항입니다.

동일한 모델이 사용 가능한 데이터의 서로 다른 부분 집합 (개별 및 / 또는 변수)에 적합하거나 다른 경쟁 모델이 동일한 데이터 세트에 적합한 여러 모델을 고려하는 경우 교차 검증 을 사용하여 피할 수 있습니다 CV가이 특정 경우에 국한되지는 않지만 과적 합 및 모델 또는 기능 선택 수행 (예 : GAM 또는 페널티 GLM 과 함께 사용할 수 있음 ). 또한 전통적인 해석 문제가 있습니다. 더 복잡한 모델은 종종 더 복잡한 해석 (더 많은 매개 변수, 더 엄격한 가정 등)을 의미합니다.

그라데이션 강화 및 RI의는 하나의 의사 결정 트리의 한계를 극복, 덕분에 밀어 누구의 주요 아이디어를보다 정확하고 안정적인 의사 결정 규칙을 구축하기 위해 여러 약한 학습 알고리즘의 출력을 결합하는 것입니다, 그리고 포기할 어디서 "평균"결과 이상 재 샘플링 된 데이터 세트. 대체로 모델에 대한 명확한 사양이 제공되는보다 "고전적인"모델과 비교할 때 종종 일종의 블랙 박스로 간주됩니다 ( 파라미터 , 세미 파라미터 , 비 파라미터 의 세 가지 모델 클래스로 생각할 수 있음 ). 나는 토론이이 다른 스레드 에서 두 가지 문화 : 통계 대 머신 러닝에서 열렸다고 생각합니다 . 흥미로운 관점을 제공합니다.

다음은 기능 선택 및 일부 ML 기술에 대한 몇 가지 논문입니다.

1. Saeys, Y, Inza, I 및 Larrañaga, P. 생물 정보학의 기능 선택 기법에 대한 검토 , Bioinformatics (2007) 23 (19) : 2507-2517.
2. Dougherty, ER, Hua J 및 Sima, C. 기능 선택 방법의 성능 , Current Genomics (2009) 10 (6) : 365–374.
3. Boulesteix, AL 및 Strobl, C. 오류율 추정에서 최적 분류기 선택 및 음의 바이어스 : 고차원 예측에 대한 실증적 연구 , BMC Medical Research Methodology (2009) 9:85.
4. Caruana, R 및 Niculescu-Mizil, A. 지도 학습 알고리즘의 실험적 비교 . 제 23 회 기계 학습에 관한 국제 회의 (2006)의 절차.
5. Friedman, J, Hastie, T 및 Tibshirani, R. 추가 로지스틱 회귀 분석 : 부스팅 통계 뷰 , Ann. 통계 학자. (2000) 28 (2) : 337-407. (토론으로)
6. Olden, JD, Lawler, JJ 및 Poff, NL. 눈물없는 기계 학습 방법 : 생태학자를위한 입문서 , Q Rev Biol. (2008) 83 (2) : 171-93.

물론 Hastie와 coll. 의 통계 학습의 요소 는 그림과 참고 자료로 가득합니다. 또한 Andrew Moore 의 통계 데이터 마이닝 자습서 를 확인하십시오 .