와 LASSO 관계

LASSO 회귀에 대한 나의 이해는 최소화 문제를 해결하기 위해 회귀 계수가 선택된다는 것입니다.

min_{β} ‖ y - X β ‖_{2}^{2} s . t . ‖ β ‖_{1} \leq t

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

실제로 이것은 Lagrange multiplier를 사용하여 수행되므로 문제를 해결할 수 있습니다.

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

$\lambda$ 와 의 관계는 무엇입니까 $t$ ? 위키피디아는 "데이터 의존적"이라고 말하면서 도움이되지 않습니다.

왜 신경 쓰나요? 먼저 지적 호기심. 그러나 교차 검증으로 를 선택했을 때의 결과에 대해서도 우려하고 $\lambda$ 있습니다.

특히, n- 겹 교차 검증을 수행하는 경우 n 개의 다른 모델을 n 개의 다른 학습 데이터 파티션에 맞 춥니 다. 그런 다음 주어진 에 대해 사용되지 않은 데이터에 대한 각 모델의 정확도를 비교합니다 $\lambda$ . 그러나 동일한 는 데이터의 다른 하위 집합에 대해 $\lambda$ 다른 제약 조건 ( $t$ )을 의미합니다 (즉, $t=f(\lambda)$ 는 "data dependent").

교차 검증 문제 가 최고의 바이어스 정확도 트레이드 오프를 제공하는 를 찾기 위해 실제로 해결하고 싶지 $t$ 않습니까?

각 교차 검증 분할 및 에 대해 을 계산 하고 결과 분포를 보면 효과의 크기를 대략적으로 알 수 있습니다 . 경우에 따라 암시 적 제약 조건 ( )은 교차 검증 서브 세트에서 실질적으로 조용히 변할 수 있습니다. 여기서 실질적으로 나는 의 변동 계수를 의미한다 . $\|\beta\|_1$ $\lambda$ $t$ $t>>0$

— 상수 아마추어
소스

설명되지 않은 downvote를 취소하기 위해 upvoting. 질문은 내 전문 지식과는 거리가 멀지 만 합리적으로 공식화 된 것 같습니다.

— mkt-Reinstate Monica

이것은 능선 회귀에 대한 표준 솔루션입니다 .

β = {(X^{'} X + λ I)}^{- 1} X^{'} y

$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$

우리는 또한 알고 이므로 $\| \beta \| = t$

‖ {(X^{'} X + λ I)}^{- 1} X^{'} y ‖ = t

$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$ .

해결하기 쉽지 않습니다 . $\lambda$

최선의 방법은 당신이하고있는 일을 계속하는 것입니다 : 여러 값에 걸쳐 동일한 하위 샘플 데이터에서 를 계산 하십시오 . $t$ $\lambda$

— 그림자 추적자
소스