LASSO에서 정규화 매개 변수의 범위 및 그리드 밀도 선택

그동안 LASSO (최소 절대 축소 및 선택 연산자)를 공부하고 있습니다. 정규화 매개 변수의 최적 값은 교차 유효성 검사를 통해 선택할 수 있습니다. 능선 회귀 분석과 정규화를 적용하는 많은 방법에서 CV를 사용하여 최적의 정규화 매개 변수 (벌칙)를 찾을 수 있습니다. 이제 내 질문은 매개 변수의 상한 및 하한의 초기 값과 시퀀스 길이를 결정하는 방법에 관한 것입니다.

구체적으로, LASSO 문제 이고 페널티에 대한 최적의 값인 를 찾고 싶다고 가정하십시오 . 그렇다면 어떻게 대한 상한과 하한을 선택할 수 있습니까? 이 두 값 사이에 몇 개의 분할이 ? λ λ ∈ [ a = ? , b = ? ] ( b - a

$$LogLikelihood = (y-x\beta)'(y-x\beta) + \lambda \sum|\beta|_1$$ $\lambda$$\lambda \in [a=?,b=?]$$\frac{(b-a)}{k=?}$

이 방법론은 좌표 하강을 통한 일반화 된 선형 모델 에 대한 glmnet 논문 정규화 경로에 설명되어 있습니다. 여기서의 방법론은 과 정규화 의 일반적인 경우를위한 것이지만 LASSO ( 만)에도 적용되어야합니다 .L 2 L $L^1$$L^2$$L^1$

최대 대한 솔루션 은 섹션 2.5에 나와 있습니다. $\lambda$

때 , 우리는에서 볼 (5) 그 제로 남아있을 것입니다 경우 입니다. 따라서 ~ β j$\tilde\beta = 0$$\tilde\beta_j$$\frac{1}{N} | \langle x_j , y \rangle | < \lambda \alpha$$N \alpha \lambda_{max} = \max_l | \langle x_l , y \rangle |$

즉, 베타에 대한 업데이트 규칙은 위에서 결정된대로 대해 모든 매개 변수 추정값을 0으로 .$\lambda > \lambda_{max}$

의 결정과 그리드 포인트의 수는 덜 원칙적으로 보입니다. glmnet에서 를 설정 한 다음 로그 스케일에서 동일 간격으로 점 그리드를 선택합니다 .$\lambda_{min}$$\lambda_{min} = 0.001 * \lambda_{max}$$100$

이것은 실제로 glmnet을 광범위하게 사용할 때이 그리드가 너무 거칠다는 것을 결코 발견하지 못했습니다.

LASSO ( )에서는 LARS 방법이 다양한 예측 변수가 모형에 들어갈 때 정확한 계산을 제공하기 때문에 상황이 더 잘 작동 합니다. 진정한 LARS는 대한 그리드 검색을 수행하지 않고 계수의 솔루션 경로에 대한 정확한 표현을 생성합니다. 다음 은 두 예측 변수 사례에서 계수 경로의 정확한 계산에 대한 자세한 내용입니다.$L^1$$\lambda$

비선형 모델 (예 : 로지스틱, 포아송)의 경우가 더 어렵습니다. 높은 수준에서, 손실 함수에 대한 2 차 근사값은 초기 매개 변수 에서 얻은 다음 위의 계산을 사용하여 를 결정 합니다. 이 경우 정규화 만 제공되는 경우에도 매개 변수 경로를 정확하게 계산할 수 없으므로 그리드 검색이 유일한 옵션입니다.$\beta = 0$$\lambda_{max}$$L^1$

샘플 무게는 상황을 복잡하게 만들고, 내부 제품은 가중 내부 제품으로 적절한 곳에 교체해야합니다.