cv.glmnet (R의 LASSO 회귀)으로 교차 유효성 검사를 수행하는 방법은 무엇입니까?

R에서 glmnet을 사용하여 LASSO 모델을 올바르게 훈련하고 테스트하는 방법에 대해 궁금합니다.

• 특히 외부 테스트 데이터 세트가 부족한 경우 교차 검증 (또는 다른 유사한 방법)을 사용하여 LASSO 모델을 테스트 하는 방법을 궁금합니다 .

시나리오를 정리하겠습니다 :

내 glmnet 모델을 알리고 훈련 할 데이터 세트가 하나뿐입니다. 결과적으로 교차 검증을 사용하여 데이터를 분할하여 모델을 테스트하는 방법을 생성해야합니다.

패키지 세부 정보cv.glmnet 에 따라 이미을 사용 하고 있습니다 .

glmnet에 대해 k- 폴드 교차 검증을 수행하고 플롯을 생성하며 람다 값을 반환합니다.

• 교차 검증은 cv.glmnet단순히 최고의 람다를 선택하기 위해 수행됩니까, 아니면 더 일반적인 교차 검증 절차의 역할을합니까?

  • 다시 말해, 모델을 "테스트"하기 위해 또 다른 교차 검증 단계를 수행해야합니까?

저는 "그렇습니다"라고 가정하고 있습니다.

그렇다면 모델을 교차 검증하는 방법에 어떻게 접근 cv.glmnet합니까?

• 수동으로해야합니까, 아니면 caretglmnet 모델에 유용한 기능입니까?

• k 개의 교차 검증 처리의 "외부 루프"의 k 개의 각 폴드 내cv.glmnet 에서 최상의 람다 값을 결정하기 위해 교차 검증의 두 개의 동심원 "루프"를 사용합니까? ... CV의 "내부 루프"를 사용합니까? ?

  • 이미 교차 유효성 검사 cv.glmnet모델 cv.glmnet의 교차 유효성 검사를 수행하는 경우 교차 유효성 검사의 "외부 루프"의 각 겹에있는 각 모델에서 "최고"모델 ( "최고"람다 값에서)을 어떻게 분리합니까?

    • 주 : 최소 1 SE 내에서 MSE를 생산하는 람다와 관련된 모델로 내가 정의하고있어 "최고"모델은 ... 이것은이다 $lambda.1se에 cv.glmnet모델.

문맥:

나무 지름 ( "D"), D ^ 2 및 종 ( "factor (SPEC)")을 기반으로 나무 나이 ( "나이")를 예측하려고합니다. [결과 방정식 : Age ~ D + factor(SPEC) + D^2]. 나는 ~ 50K 개의 데이터 행을 가지고 있지만 데이터는 길이 방향 (시간을 통해 개인을 추적)이며 ~ 65 종으로 구성됩니다.

cv.glmnet에서 교차 검증이 단순히 최고의 람다를 선택하기 위해 수행됩니까, 아니면 더 일반적인 교차 검증 절차로도 사용됩니까?

교차 검증에 필요한 거의 모든 것을 수행합니다. 예를 들어, lambda데이터 에 가능한 값을 맞추고 가장 적합한 모델을 선택한 다음 적절한 매개 변수를 사용하여 모델을 학습시킵니다.

예를 들어, 반환 된 객체에서 :

cvm평균 교차 검증 오류입니다. cvsd추정 된 표준 편차입니다.

다른 반환 값과 마찬가지로이 값은 테스트 세트에서 계산됩니다. 마지막으로

glmnet.fit 최상의 매개 변수를 사용하여 모든 데이터에 대한 모델 학습 (훈련 + 테스트)을 제공합니다.

수동으로해야합니까, 아니면 캐럿 기능이 glmnet 모델에 유용합니까?

수동으로 수행 할 필요는 없습니다. 'Caret'은 매우 유용하며 같은 구문으로 다른 모든 모델에서 작동하기 때문에 내가 가장 좋아하는 패키지 중 하나입니다. 나 자신 caret보다는 자주 사용 cv.glmnet합니다. 그러나 시나리오에서 본질적으로 동일합니다.

교차 검증의 두 개의 동심원 "루프"를 사용합니까? ... cv.glmnet을 통해 CV의 "내부 루프"를 사용하여 k- 폴드의 "외부 루프"의 k 개의 각 폴드 내에서 최상의 람다 값을 결정합니까? 교차 검증 처리?

이 작업을 수행 할 수 있으며이 개념은 모델 선택을위한 중첩 교차 검증 중첩 교차 검증 의 아이디어와 매우 유사합니다 .

이미 교차 유효성을 검사하는 cv.glmnet 모델의 교차 유효성 검사를 수행하는 경우, 그렇지 않으면 "외부 루프의 각 폴드 내에서 각 cv.glmnet 모델에서"최고 "람다 값에서"최고 "모델을 분리하는 방법 교차 검증의 "?

교육 데이터를 생성하고 교육 데이터에서 테스트 데이터를 실행하는 루프를 실행 cv.glmnet하고 모델 glmnet.fit을 사용 하여 테스트 데이터를 예측하십시오.