다중 선형 회귀 모형에 포함 할 변수 선택

현재 다중 선형 회귀를 사용하여 모델을 작성하려고합니다. 내 모델을 둘러 본 후에는 유지할 변수와 제거 할 변수를 가장 잘 결정하는 방법을 모르겠습니다.

내 모델은 DV에 대한 10 개의 예측 변수로 시작했습니다. 10 개의 예측 변수를 모두 사용할 때 4 개가 유의 한 것으로 간주되었습니다. 명백히 틀린 예측 변수 중 일부만 제거하면 처음에 중요하지 않은 일부 예측 변수가 중요해집니다. 다음 중 어느 것이 저의 질문으로 이어질 까요 : 모델에 포함 할 예측 변수를 결정하는 방법은 무엇입니까? 모든 예측 변수로 모델을 한 번 실행하고 중요하지 않은 것을 제거한 다음 다시 실행 해야하는 것처럼 보였습니다. 그러나 이러한 예측 변수 중 일부만 제거하면 다른 예측 변수가 중요 해지면이 모든 것에 대해 잘못된 접근 방식을 취하고 있는지 궁금합니다.

이 스레드가 내 질문과 비슷 하다고 생각 하지만 토론을 올바르게 해석하고 있는지 확신 할 수 없습니다. 아마도 이것은 실험적인 디자인 주제 일 수도 있지만 누군가가 공유 할 수있는 경험이있을 수도 있습니다.

내 의견에 대한 귀하의 반응을 바탕으로 :

당신은 예측을 찾고 있습니다. 따라서 계수의 (의) 의의에 실제로 의존해서는 안됩니다. 당신은 더 나은 것

• 예측 요구에 가장 적합한 기준을 선택하십시오 (예 : 미분류 비율, ROC의 AUC, 가중치가있는 일부 형태 등).
• 들어 관심의 각 모델 ,이 기준을 평가한다. 예를 들어 교차 검증 (일반적으로 10 배) 또는 관심있는 기준이 허용하는 다른 옵션을 통해 유효성 검사 세트 (운이 좋거나 부유 한 경우)를 제공하여 수행 할 수 있습니다. 가능한 경우 각 모델에 대한 기준의 SE 추정값을 찾으십시오 (예 : 교차 검증에서 서로 다른 접힘 값을 사용하여)
• 이제 최상의 기준 값을 가진 모델을 선택할 수 있지만 일반적으로 최고 값의 1 SE 내에있는 가장 유사한 모델 (최소 변수)을 선택하는 것이 좋습니다.

WRT 관심의 각 모델 : 여기에 꽤 캐치있다. 10 개의 잠재적 예측 변수가있는 것은 잠재적 인 모델의 트럭입니다. 이를위한 시간이나 프로세서가 있거나 데이터가 충분히 작아서 모델이 적합하고 빠르게 평가되는 경우 : 공을 사용하십시오. 그렇지 않다면, 교육받은 추측, 정방향 또는 역방향 모델링 (그러나 중요도가 아닌 기준을 사용)으로이 문제를 해결할 수 있습니다. 또는 합리적인 모델 집합을 선택하는 알고리즘을 사용하십시오. 이를 수행하는 알고리즘 중 하나는 처벌 회귀, 특히 올가미 회귀입니다. R을 사용하고 있다면 glmnet 패키지를 꽂기 만하면됩니다.

이에 대한 간단한 대답은 없습니다. 중요하지 않은 설명 변수 중 일부를 제거하면 해당 변수와 관련된 다른 변수가 중요해질 수 있습니다. 이것에는 아무런 문제가 없지만, 과학보다는 모델을 적어도 부분적으로 선택합니다. 이것이 실험이 설명 변수를 서로 직교로 유지하여이 문제를 피하는 것을 목표로하는 이유입니다.

전통적으로 분석가들은 한 번에 하나씩 모델에 변수를 더하고 빼고 (한 것과 유사) t 또는 F 테스트를 통해 개별적으로 또는 소그룹으로 테스트했습니다. 이것의 문제는 결합 된 효과 (또는 비 영향)가 공선성에 의해 숨겨지는 하위 조합 (또는 추가) 할 변수 조합을 놓칠 수 있다는 것입니다.

최신 컴퓨팅 성능을 사용하면 2 ^ 10 = 1024 개의 가능한 설명 변수 조합을 모두 맞추고 AIC, BIC 또는 예측력 (예 : 값을 예측하는 기능)과 같은 여러 가지 가능한 기준 중 하나를 사용하여 최상의 모델을 선택할 수 있습니다. 모델에 맞추기 위해 사용하는 데이터 세트와 분리 된 데이터의 테스트 하위 세트). 그러나 1024 모델을 (내재적으로 또는 명시 적으로) 테스트하려는 경우 고전적인 접근 방식에서 p- 값을 재고해야합니다.

예측 성능에만 관심이있는 경우 모든 기능을 사용하고 능형 회귀를 사용하여 훈련 샘플에 과적 합을 피하는 것이 좋습니다. 이것은 본질적으로 "회귀에서 부분 집합 선택"에 대한 Millar의 논문 부록에 주어진 조언 이므로, 합리적인 가계도가 함께 제공됩니다!

그 이유는 고정 된 데이터 샘플 (예 : AIC, BIC, 교차 검증 등)을 기반으로 성능 추정값을 기반으로 하위 집합을 선택하면 선택 기준이 유한 편차를 가지게되므로 선택 기준 자체를 과도하게 맞추십시오. 다시 말해, 선택 기준을 최소화할수록 일반화 성능이 향상되지만 선택 기준을 줄일수록 일반화가 악화되는 지점이 생깁니다. 운이 좋지 않으면 시작한 모델보다 성능이 나쁜 회귀 모델 (즉, 모든 특성을 가진 모델)로 쉽게 끝날 수 있습니다.

특히 데이터 집합이 작을 때 (선택 기준이 분산이 높을 때) 모델을 선택할 수있는 방법이 많을 때 (예 : 피처 조합 선택) 가능성이 높습니다. 정규화는 조정해야하는 스칼라 매개 변수이므로 과적 합이 덜 발생하는 것으로 보이며, 이는 모형의 복잡성에 대한보다 제한된 시각을 제공합니다. .

도약 라이브러리를 사용하십시오. 변수를 플로팅하면 y 축에 R ^ 2 조정이 표시됩니다. 가장 높은 R ​​^ 2에서 상자가 검은 색인 곳을 봅니다. 다중 선형 회귀 분석에 사용해야하는 변수가 표시됩니다.

아래 와인 예 :

library(leaps)
regsubsets.out <-
  regsubsets(Price ~ Year + WinterRain + AGST + HarvestRain + Age + FrancePop,
         data = wine,
         nbest = 1,       # 1 best model for each number of predictors
         nvmax = NULL,    # NULL for no limit on number of variables
         force.in = NULL, force.out = NULL,
         method = "exhaustive")
regsubsets.out

#----When you plot wherever R^2 is the highest with black boxes,
#so in our case AGST + HarvestRain + WinterRain + Age and the dependent var.is Price----#
summary.out <- summary(regsubsets.out)
as.data.frame(summary.out$outmat)
plot(regsubsets.out, scale = "adjr2", main = "Adjusted R^2")

Akaike 정보 기준에서 단계 기능을 사용할 수도 있습니다. 아래 예. https://ko.wikipedia.org/wiki/Akaike_information_criterion

StepModel = step(ClimateChangeModel)

상관 관계 분석을 먼저 수행 한 다음 Dv와 관련된 것만 회귀 분석에 포함하지 않는 이유는 무엇입니까?

내 고문은 이것에 대해 다른 가능한 방법을 제안했습니다. 모든 변수를 한 번 실행 한 다음 임계 값을 충족시키지 못하는 변수를 제거하십시오 (임계 값을 p <.25로 설정). 모든 변수가 해당 .25 값 아래로 떨어질 때까지 계속 반복 한 다음 중요한 값을보고하십시오.