0에서 1 사이 glmnet의 그리드에서 람다 값을 선택하여 R 의 패키지를 사용하여 건강 관리 데이터 세트에서 탄력적 그물 로지스틱 회귀를 수행하고 있습니다. 약식 코드는 다음과 같습니다.$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

씩 증가하면서 에서 까지의 각 알파 값에 대한 평균 교차 검증 오류를 출력합니다 .$0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

내가 읽은 내용을 바탕으로 최적의 선택은 cv 오류가 최소화되는 곳입니다. 그러나 알파 범위에서 발생하는 오류에는 많은 차이가 있습니다. 에 대한 전역 최소 오류와 함께 여러 지역 최소값이 표시 됩니다 .$\alpha$0.1942612alpha=0.8

가는 것이 안전 alpha=0.8합니까? 또는, 변화를 주어, 나는 다시 실행해야 cv.glmnet더 크로스 검증 주름 (예와 함께 대신 아마) 또는 더 많은 수의 사이의 간격 및 이력서 오류 경로의 명확한 그림을 얻을 수 있습니까?$20$$10$$\alpha$alpha=0.01.0

및 Elastic Net 매개 변수의 의미를 명확하게하기$\alpha$

다른 용어와 매개 변수는 다른 패키지에서 사용되지만 그 의미는 일반적으로 동일합니다.

R 패키지 Glmnet는 다음과 같은 정의를 사용

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn 사용

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

있다 다른 매개 변수화 사용 하고 뿐만 아니라이 ..$a$$b$

혼란을 피하기 위해 전화 할 것입니다.

• $\lambda$ 페널티 강도 매개 변수
• $L_1 \text{ratio}$ 는 0 (리지)에서 1 (lasso)까지 과 페널티 의 비율입니다.$L_1$$L_2$

매개 변수의 영향 시각화

가 노이즈 사인 곡선으로 구성되고 가 및 로 구성된 2 차원 피처 인 시뮬레이션 된 데이터 세트를 고려하십시오 . 과 의 상관 관계로 인해 비용 함수는 좁습니다.$y$$X$$X_1 = x$$X_2 = x^2$$X_1$$X_2$

아래 그림 은 강도 매개 변수 의 함수로 서로 다른 두 개의 비율 매개 변수를 사용하여 넷 회귀의 솔루션 경로를 보여줍니다 .$L_1$$\lambda$

• 두 시뮬레이션의 경우 : 경우 솔루션은 오른쪽 하단의 OLS 솔루션이며 관련 계곡 모양의 비용 함수가 있습니다.$\lambda = 0$
• 마찬가지로 증가의 정규화 차기 용액 경향이$\lambda$$(0,0)$
• 두 시뮬레이션의 주요 차이점은 비율 매개 변수입니다.$L_1$
• LHS : 작은 비율의 경우 정규화 된 비용 함수는 둥근 윤곽선이있는 릿지 회귀와 매우 유사합니다.$L_1$
• RHS : 비율이 크면 비용 함수는 일반적인 다이아몬드 모양 윤곽선의 올가미 회귀와 비슷합니다.$L_1$
• 중간 비율 (표시되지 않음)의 경우 비용 함수는이 둘의 혼합입니다$L_1$

매개 변수의 효과 이해

ElasticNet은 다음과 같은 Lasso의 몇 가지 제한 사항을 해결하기 위해 도입되었습니다.

• 데이터 포인트 , 보다 많은 변수 가 있으면 올가미는 최대 변수를 선택 합니다.$p$$n$$p>n$$n$
• 올가미는 특히 상관 변수가있는 경우 그룹화 된 선택을 수행하지 못합니다. 그룹에서 하나의 변수를 선택하고 다른 변수는 무시하는 경향이 있습니다.

과 2 차 페널티 를 결합하면 과 같은 장점이 있습니다.$L_1$$L_2$

• $L_1$ 은 희소 모델을 생성합니다
• $L_2$ 는 선택된 변수의 수에 대한 제한을 제거하고 그룹화를 권장하며 정규화 경로를 안정화시킵니다 .$L_1$

위의 다이어그램에서 이것을 볼 수 있습니다. 꼭짓점의 특이점은 희소성을 장려 하는 반면, 엄격한 볼록한 모서리는 그룹화를 장려 합니다.

다음은 Hastie (ElasticNet 발명가)의 시각화입니다.

추가 자료

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-lasso-elastic-nets.pdf
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

질문의 나이에도 불구하고 매우 실용적인 발언을 추가하겠습니다. 나는 R 사용자가 아니기 때문에 코드 대화를 할 수는 없지만 이해할 수 있어야합니다.

1. 일반적으로 CV 점수가 가장 높은 하이퍼 파라미터 (여기서는 )를 선택해야합니다 . 또는 최고의 모델 하고 결정 함수를 산술 평균하여 앙상블 를 구성 할 수 있습니다. 물론 이것은 런타임 복잡성을 증가시킵니다. 힌트 : 때때로 기하 평균화가 더 효과적입니다. . 나는 이것이 더 부드러운 결정 경계로 인한 것이라고 생각합니다.$\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$f(x)=k √$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. 리샘플링의 한 가지 장점은 테스트 점수 시퀀스를 검사 할 수 있다는 것입니다. 여기에는 cv의 점수가 있습니다. 항상 평균을 볼뿐만 아니라 표준 편차를보아야합니다 (정규 분포는 아니지만 마치 행동합니다). 일반적으로 정확성을 위해이 말을 65.5 % (± 2.57 %)로 표시합니다. 이런 식으로 "작은 편차"가 우연히 또는 구조적으로 발생할 가능성이 더 높은지 여부를 알 수 있습니다. 전체 시퀀스 를 검사하는 것이 더 좋습니다. 어떤 이유로 든 항상 하나의 접힘이있는 경우 분할을 수행하는 방식을 다시 생각할 수 있습니다 (이는 실험 설계에 결함이 있음을 나타냅니다 : 셔플 했습니까?). scikit-learn에서 GridSearchCV상점은 접는 만료에 대한 세부 정보를 참조하십시오cv_results_ ( 여기 참조 ).

3. 와 관련하여 : 더 높을수록 탄성 망의 희소성 기능 이 더 . 결과 모델의 가중치를 확인할 수 있습니다. 가 높을수록 0으로 설정됩니다. 파이프 라인에서 가중치가 0으로 설정된 속성을 모두 제거하는 것이 유용한 트릭입니다 (이는 런타임 성능을 크게 향상시킵니다). 또 다른 요령은 기능 선택에 탄성 그물 모델을 사용한 다음 변형 을 재교육하는 입니다. 일반적으로 기능 간의 상관 관계가 필터링되어 모델 성능이 크게 향상됩니다.$\alpha$$L_1$$\alpha$L 2$L_2$