많은 독립 변수에서 유의 한 예측 변수 탐지

겹치지 않는 두 인구 (환자 및 건강, 총 ) 의 데이터 세트 에서 연속 종속 변수에 대한 중요한 예측 변수 ( 독립 변수 중) 를 찾고 싶습니다 . 예측 변수 사이의 상관 관계가 있습니다. 나는 예측 변수 중 어느 것이 종속 변수를 가능한 정확하게 예측하기보다는 "실제로"종속 변수와 관련이 있는지 알아내는 데 관심이 있습니다. 가능한 많은 접근 방식에 압도되어서 어떤 접근 방식이 가장 권장되는지 묻고 싶습니다.$n=60$$300$

• 내 이해에서 단계별 예측 또는 예측 변수 제외는 권장하지 않습니다.

• 예를 들어 모든 예측 변수에 대해 선형 회귀 분석을 실행하고 FDR을 사용하여 다중 비교를 위해 p- 값을 수정하십시오 (아마도 보수적입니까?)

• 주성분 회귀 분석 : 개별 예측 변수의 예측력에 대해서는 알 수 없지만 성분에 대해서만 해석 할 수 없으므로 해석하기가 어렵습니다.

• 다른 제안?

올가미 정규화 로 glm을 사용해 보는 것이 좋습니다 . 이렇게하면 변수 수에 대한 모델에 페널티가 추가되고 페널티가 증가하면 모델의 변수 수가 줄어 듭니다.

교차 검증을 사용하여 패널티 매개 변수의 값을 선택해야합니다. R이 있다면 glmnet 패키지를 사용하는 것이 좋습니다 . 사용 alpha=1올가미 회귀, 그리고 alpha=0능선 회귀합니다. 0과 1 사이의 값을 설정하면 올가미와 리지 페널티의 조합을 사용하며 탄성 그물이라고도합니다.

Zach의 답 (+1)을 확장하기 위해 선형 회귀 분석에서 LASSO 방법을 사용하면 2 차 함수와 절대 값 함수의 합계를 최소화하려고합니다.

첫 번째 부분은 (이하 금) 에서 2 차이고, 두 번째 부분은 정사각형 곡선 (아래)입니다. 검은 선은 교차 선입니다. $\beta$

최소값은 교차 곡선에 있으며, 여기에 2 차 및 정사각형 곡선의 윤곽 곡선으로 표시됩니다.

축 중 하나에 최소값이 있으므로 회귀에서 해당 변수가 제거되었습니다.

회귀 및 변수 선택 (또는 올가미 정규화라고도 함)에 대해 L 1 페널티 사용에 대한 내 블로그 게시물 을 확인할 수 있습니다 . $L1$

얼마나 많은 예측 변수가 중요 할 것이라는 사전의 믿음은 무엇입니까? 그들 중 대부분은 정확히 0의 영향을 미치거나 모든 것이 결과에 영향을 미치거나 일부 변수는 다른 변수보다 적을 가능성이 있습니까?

건강 상태는 어떻게 예측 작업과 관련이 있습니까?

소수의 변수 만 중요하다고 생각되면 스파이크 및 슬래브 (예 : R의 spikeSlabGAM 패키지) 또는 L1을 시도 할 수 있습니다. 모든 예측 변수가 결과에 영향을 준다고 생각하면 운이 좋지 않을 수 있습니다.

그리고 일반적으로 관측 데이터로부터의 인과 추론과 관련된 모든 경고가 적용됩니다.

무엇을 하든지 예측 변수의 중요 순위에 대한 부트 스트랩 신뢰 구간을 확보하여 데이터 세트로 실제로이를 수행 할 수 있음을 보여주는 것이 좋습니다. 모든 방법이 "진정한"예측 변수를 확실하게 찾을 수 있을지 의심됩니다.

$n \leq p$