다중 회귀 분석에서 변수 수 감소

시간이 지남에 따라 인덱스 펀드의 동작을 예측하기 위해 다중 회귀 분석에 사용할 수있는 수백 가지 재무 변수 값으로 구성된 큰 데이터 세트가 있습니다. 가능한 많은 예측력을 유지하면서 변수 수를 10 정도로 줄이려고합니다. 추가 : 감소 된 변수 세트는 원래 변수의 경제적 의미를 유지하기 위해 원래 변수 세트의 서브 세트 여야합니다. 따라서 예를 들어 선형 변수 또는 원래 변수의 집계로 끝나서는 안됩니다.

이 작업을 수행하는 방법에 대한 일부 (아마도 순진한) 생각 :

1. 각 변수로 간단한 선형 회귀를 수행하고 가장 큰 값을 가진 10을 선택하십시오 . 물론 10 개의 최고의 개별 변수가 10 개의 최고의 그룹이 될 것이라는 보장은 없습니다.$R^2$
2. 주성분 분석을 수행하고 처음 몇 개의 주축과 가장 큰 연관성을 갖는 10 개의 원래 변수를 찾으십시오.

변수가 실제로 중첩되어 있지 않기 때문에 계층 적 회귀를 수행 할 수 없다고 생각합니다. 조합이 너무 많기 때문에 10 개의 변수 조합을 모두 시도하는 것은 계산 상 불가능합니다.

다중 회귀 분석에서 변수 수를 줄이는이 문제를 해결하기위한 표준 접근 방법이 있습니까?

이것이 표준 접근법이있을 정도로 일반적인 문제 일 것 같습니다.

매우 유용한 답변은 표준 방법을 언급 할뿐만 아니라 작동 방법 및 이유에 대한 개요를 제공합니다. 또는 표준 접근 방식이 하나가 아니라 다른 강점과 약점을 가진 여러 방법이 있다면 장단점을 논의하는 것이 매우 도움이 될 것입니다.

아래 whuber의 의견은 마지막 단락의 요청이 너무 광범위하다는 것을 나타냅니다. 대신, 나는 주요한 접근법의 목록을 아마도 좋은 답변으로 받아 들일 것이다. 일단 용어가 있으면 각각의 세부 사항을 파헤칠 수 있습니다.

이 문제를 일반적으로 서브 세트 선택 이라고 하며 몇 가지 다른 접근 방식이 있습니다. 관련 기사 에 대한 개요는 Google Scholar를 참조하십시오 .

방법 1이 작동하지 않습니다. 방법 2는 그 방법에 따라 희망이 있습니다. 내림차순으로 주성분을 입력하는 것이 좋습니다. 보다 해석 가능한 접근 방식은 가변 군집화를 수행 한 다음 각 군집을 단일 점수 (Y를 사용하지 않음)로 줄이고 모형을 군집 점수에 맞추는 것입니다.

R을 사용한 데이터 마이닝 5 장에서 저자는 가장 유용한 예측 변수를 선택하는 몇 가지 방법을 보여줍니다. (각 샘플 행에 12,000 개 이상의 열이있는 생물 정보학의 맥락에서!)

먼저 통계적 분포에 따라 일부 필터를 사용합니다. 예를 들어, 평균과 sd가 비슷한 6 개의 예측 변수가 있으면 그 중 하나만 유지하면됩니다.

그런 다음 임의 포리스트를 사용하여 가장 유용한 예측 변수를 찾는 방법을 보여줍니다. 다음은 독립적 인 추상 예제입니다. 좋은 예측 자 5 개, 나쁜 예측 자 5 개가 있습니다. 이 코드는 최고를 유지하는 방법을 보여줍니다 .3.

set.seed(99)

d=data.frame(
  y=c(1:20),
  x1=log(c(1:20)),
  x2=sample(1:100,20),
  x3=c(1:20)*c(11:30),
  x4=runif(20),
  x5=-c(1:20),
  x6=rnorm(20),
  x7=c(1:20),
  x8=rnorm(20,mean=100,sd=20),
  x9=jitter(c(1:20)),
  x10=jitter(rep(3.14,20))
  )

library(randomForest)
rf=randomForest(y~.,d,importance=T)
print(importance(rf))
#         %IncMSE IncNodePurity
# x1  12.19922383    130.094641
# x2  -1.90923082      6.455262
# ...

i=importance(rf)
best3=rownames(i)[order(i[,"%IncMSE"],decreasing=T)[1:3]]
print(best3)
#[1] "x1" "x5" "x9"

reduced_dataset=d[,c(best3,'y')]

저자의 마지막 접근법은 계층 적 클러스터링 알고리즘을 사용하여 유사한 예측 변수를 30 개의 그룹으로 클러스터링하는 것입니다. 30 개의 다양한 예측 변수를 원하는 경우 30 개의 각 그룹 중 하나를 임의로 선택하십시오.

다음은 위와 동일한 샘플 데이터를 사용하여 10 개 열 중 3 개를 선택하는 코드입니다.

library(Hmisc)
d_without_answer=d[,names(d)!='y']
vc=varclus(as.matrix(d_without_answer))
print(cutree(vc$hclust,3))
# x1  x2  x3  x4  x5  x6  x7  x8  x9 x10 
#  1   2   1   3   1   1   1   2   1   3 

5 개의 좋은 예측 변수와 5 개의 노이즈 만 있기 때문에 샘플 데이터는이 접근법에 전혀 맞지 않습니다. 10 개 개의 예측이 약간 상관 관계를 한 경우 y, 그리고 (금융 영역에서 확실히 가능하다)을 함께 사용하면 더 나은되는 좋은 기회가 있었다, 이것은 좋은 방법이 될 수 있습니다.

매개 변수 벡터의 한 표준을 최소화하는 솔루션을 선택하여 최소 제곱을 정규화하는 LASSO와 같은 방법을 사용할 수 있습니다. 이는 매개 변수 벡터에서 0이 아닌 항목 수를 최소화하는 데 실제로 영향을 미친다는 것이 밝혀졌습니다. LASSO가 일부 통계 분야에서 인기가 있지만 압축 감지 분야에서는 다른 많은 관련 방법이 고려되었습니다.