선형 회귀 분석을위한 최상의 예측 변수 하위 집합 계산

적합한 예측 변수를 사용하여 다변량 선형 회귀 분석에서 예측 변수를 선택 하기 위해 모든 2 ^ p 부분 집합 을 명시 적으로 테스트하지 않고 예측 변수의 '최적'부분 집합을 찾는 데 사용할 수있는 방법은 무엇 입니까? 'Applied Survival Analysis'에서 Hosmer & Lemeshow는 Kuk의 방법을 참조하지만 원본 논문을 찾을 수 없습니다. 누구 든지이 방법 또는 더 현대적인 기술을 설명 할 수 있습니까? 정규 분포 오류를 가정 할 수 있습니다.$p$$2^p$

나는 Kuk의 방법에 대해 들어 본 적이 없지만 요즘 가장 인기있는 주제는 L1 최소화입니다. 이론적으로 회귀 계수의 절대 값에 대한 페널티 항을 사용하는 경우 중요하지 않은 값은 0이되어야합니다.

이러한 기술에는 Lasso, LARS, Dantzig 선택기 등 재미있는 이름이 있습니다. 논문을 읽을 수 있지만 시작하기에 좋은 곳 은 통계 학습 요소 3 장입니다.

이것은 큰 주제입니다. 앞서 언급했듯이 Hastie, Tibshirani 및 Friedman은 Ch3 of Statistics Learning 요소에 대한 좋은 소개를 제공합니다.

몇 가지 요점. 1) "최고"또는 "최적"은 무엇을 의미합니까? 어떤면에서 가장 좋은 것은 다른면에서 가장 좋지 않을 수 있습니다. 두 가지 일반적인 기준은 예측 정확도 (결과 변수 예측)와 편향되지 않은 계수 추정기를 생성하는 것입니다. Lasso & Ridge Regression과 같은 일부 방법은 필연적으로 바이어스 계수 추정기를 생성합니다.

2) "최상 부분 집합"이라는 문구 자체는 두 가지 의미로 사용될 수있다. 일반적으로 일부 모델 구축 기준을 최적화하는 모든 예측 변수 중 최상의 하위 집합을 나타냅니다. 좀 더 구체적으로, 그것은 중간 정도 (~ 50) 개의 선형 예측 변수 (리프 및 바운드에 의한 회귀 분석) Technometrics, Vol.16, No.4 (Nov., 1974), pp. 499-51)

http://www.jstor.org/stable/1267601

처음에 Best Subsets Approach를 스크리닝 도구로 사용한다는 사실을 알게 된 후, 단계별 선택 절차를 통해 어떤 모델이 가장 적합한 서브셋 모델이 될지 결정하는 데 도움이 될 수 있습니다 (현재 해당 모델의 수는 처리하기가 매우 작습니다). 모델 중 하나가 모델 조건을 충족하면 데이터의 추세를 요약하는 데 도움이되고 가장 중요한 것은 연구 질문에 대답 할 수있게 해준 것입니다.