매우 큰 데이터 세트에서 중요한 변수를 빠르게 선택하는 방법은 무엇입니까?

약 2,000 개의 이진 변수 / 100,000 행의 데이터 세트가 있고 단일 이진 종속 변수를 예측하려고합니다. 이 단계에서 나의 주요 목표는 예측의 정확성을 얻는 것이 아니라 이러한 변수 중 어떤 변수가 중요한 예측 변수인지 식별하는 것입니다. 최종 모델의 변수 수를 약 100으로 줄이려고합니다.

가장 중요한 변수를 얻는 비교적 빠른 방법이 있습니까? randomForest는 시간이 오래 걸리는 것 같습니다.

200,000 개의 관측 값을 모두 사용할 필요는 없으므로 표에서 샘플링이 옵션입니다.

간단한 일 변량 필터로 시작하고 교차 검증을 사용하여 유지할 변수를 결정할 수 있습니다. R 패키지 의 sbf기능 caret은 정말 유용합니다. 당신은에 대한 자세한 내용을보실 수 있습니다 여기 19 페이지의 시작.

이것은 축소 및 변수 선택을하는 올가미 및 친구에게 적합한 문제인 것 같습니다. 통계 학습의 요소는 회귀에 대한 올가미와 탄력적 그물, 그리고이 문제와 더 관련이있는 로지스틱 회귀를 설명합니다.

이 책의 저자는 올가미와 탄성 망을 효율적으로 구현하여 glmnet 이라는 R 패키지로 제공했습니다 . 나는 이전에이 패키지를 약 250,000 행의 데이터 행렬로 이진 데이터 분석에 사용했지만 열은 다소 적지 만 실제로는 다른 모든 열에 대해 모든 열의 회귀를 실행합니다. 데이터 매트릭스도 희소 한 경우 구현에서도이를 활용할 수 있으며이 방법이 실제로 OP 전체 데이터 세트에서 작동 할 수 있다고 생각합니다. 올가미에 대한 의견은 다음과 같습니다.

• 올가미는 부드럽 지 않은 페널티 함수 ( -norm) 를 사용하여 변수 선택을 수행합니다. 일반적으로 일부 매개 변수는 정확히 0과 동일한 매개 변수 추정치가됩니다. 0이 아닌 모수가없는 매개 변수 수 0이 아닌 매개 변수는 축소되고 조정 매개 변수에 의해 결정됩니다. glmnet 에서 구현의 효율성은 큰 패널티의 경우 0과 다른 매개 변수가 거의 없다는 사실에 크게 의존합니다.$\ell_1$
• 튜닝 파라미터의 선택은 종종 교차 검증에 의해 수행되지만, 교차 검증 단계 없이도, 방법은 페널티 파라미터에 의해 인덱스 된 선택된 선택된 변수의 양호한 시퀀스를 제공 할 수있다.
• 단점은 변수 선택의 경우, 변수가 특히 상관 관계가 있으면 변수 선택에서 올가미가 불안정 할 수 있다는 것입니다. 이 불안정성을 개선하기 위해 보다 일반적인 탄력적 네트 페널티가 고안되었지만 문제를 완전히 해결하지는 못합니다. 적응 올가미 는 올가미의 변수 선택을 향상시키는 또 다른 아이디어입니다.
• 안정성 선택 은 올인과 같은 방법으로 선택한 변수의 안정성을 높이기 위해 Meinshausen과 Bühlmann이 제안한 일반적인 방법입니다. 그것은 데이터 세트의 서브 샘플에 다수의 적합을 요구하며, 따라서 훨씬 더 계산적으로 요구된다.
• 올가미에 대한 합리적인 사고 방식은 단일 변수 모델에서 페널티 매개 변수로 매개 변수화 된 더 복잡한 모델 (모든 변수를 포함 할 필요는 없음)에 이르는 1 차원 "양호한"모델 세트를 생성하는 방법입니다. 반면, 일 변량 필터는 우수한 단일 변수 모델 만 선택하거나 주문합니다.

Python의 경우 올가미 및 탄력적 그물과 같은 scikit-learn 메소드 구현이 있습니다.

각 변수에 대해 로지스틱 회귀 / 카이 제곱 연관 검정을 수행하고 p- 값이 일부 값보다 작은 값만 유지합니다 (예 : .2).