단계별 회귀에 대한 현대적이고 쉽게 사용되는 대안은 무엇입니까?

약 30 개의 독립 변수가있는 데이터 세트가 있으며 GLM (Generalized Linear Model)을 구성하여 변수와 종속 변수 간의 관계를 탐색하려고합니다.

나는이 상황에 대해 배운 방법, 단계적 회귀가 이제 통계적 죄로 간주된다는 것을 알고 있습니다.

이 상황에서 어떤 현대적인 모델 선택 방법을 사용해야합니까?

단계적 회귀에 대한 몇 가지 대안이 있습니다 . 내가 본 가장 많이 사용되는 것은 다음과 같습니다.

• 모형에 포함 할 변수를 결정하는 전문가 의견 .
• 부분 최소 제곱 법 회귀 . 본질적으로 잠재 변수를 가져 와서 회귀를 수행합니다. PCA를 직접 수행 한 다음 주요 변수를 사용할 수도 있습니다 .
• 최소 절대 수축 및 선택 연산자 (LASSO).

PLS 회귀 및 LASSO 는 모두 다음 과 같은 R 패키지로 구현됩니다.

PLS : http://cran.r-project.org/web/packages/pls/ 및

LARS : http://cran.r-project.org/web/packages/lars/index.html

종속 변수와 독립 변수 사이의 관계 만 탐색 하려는 경우 (예 : 통계적 유의성 테스트가 필요하지 않은 경우) 임의 포리스트 또는 분류 / 회귀 트리 와 같은 기계 학습 방법 도 권장 합니다. 랜덤 포레스트 는 또한 선형 기술 (예 : Linear Regression )에 의해 드러나지 않았을 수있는 종속 변수와 독립 변수 사이의 복잡한 비선형 관계를 근사 할 수 있습니다 .

기계 학습 의 좋은 출발점 은 CRAN의 기계 학습 작업보기 일 수 있습니다.

기계 학습 작업보기 : http://cran.r-project.org/web/views/MachineLearning.html

변수 선택 및 정규화를 위해 고려할 수있는 또 다른 옵션은 탄력적 그물 입니다. glmnet 패키지 를 통해 R로 구현 됩니다.

모델 평균화는 한 가지 방법입니다 (정보 이론적 접근). R 패키지 glmulti는 예측 변수의 모든 조합에 대해 선형 모델을 수행하고 이러한 결과에 대한 모델 평균을 수행 할 수 있습니다.

http://sites.google.com/site/mcgillbgsa/workshops/glmulti를 참조 하십시오

예측 변수 사이의 공선 성을 먼저 조사하는 것을 잊지 마십시오. 변동 인플레이션 계수 (R 패키지 "car"로 제공)가 여기서 유용합니다.

@johannes는 훌륭한 대답을했습니다. SAS 사용자 인 경우 LASSO는 PROC GLMSELECT를 통해 사용 가능하고 부분 최소 자승은 PROC PLS를 통해 사용 가능합니다.

David Cassell과 저는 SAS 사용자 그룹에서 LASSO (및 Least Angle Regression)에 대한 프레젠테이션을했습니다. 그것은 가능한 여기

흥미로운 토론. 단계적 회귀를 통계적 죄로 분류하는 것은 약간의 종교적 진술입니다. 편향되고, 최적 성 등을 보장하지는 않습니다. 그러나 우리가하는 다른 많은 것들에 대해서도 마찬가지입니다. 공변량 공간에서 상관 관계 구조의 더 근본적인 문제를 해결하고, 최적 성을 보장하고, 꽤 오랫동안 주변에 있으며, 학습 곡선이있는 CCA 언급을 보지 못했습니다. R을 포함한 다양한 플랫폼에서 구현됩니다.