p> n 인 경우 올가미는 최대 n 개의 변수를 선택합니다.

탄력적 그물의 동기 중 하나는 다음과 같은 LASSO의 한계였습니다.

에서 경우로 인해 볼록 최적화 문제의 본질 올가미 최대 선택 변수 N 그것을 전에 포화된다. 이것은 변수 선택 방법에 대한 제한 기능인 것 같습니다. 또한, 계수의 L1- 노름에 대한 경계가 특정 값보다 작지 않으면 올가미가 잘 정의되지 않습니다. $p > n$

( http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x/full )

LASSO는 2 차 프로그래밍 문제이지만 LARS 또는 요소 별 경사 하강을 통해 해결할 수도 있음을 이해합니다. 그러나 여기서 가 예측 변수의 수이고 이 표본 크기 인 경우 이러한 알고리즘에서 문제가 발생하는 위치를 이해하지 못합니다 . 왜이 문제가 I 문제점을 보완하여 탄성 네트 해결 명확 초과 변수 . $p > n$ $p$ $n$ $p+n$ $p$

— 사용자 1137731
소스

올가미가 p <= n을 유지하는 데 사용을 제한한다면 왜 미덕보다는 단점이 있습니까? 과적 합은 p = n 일 때 발생하는 심각한 문제입니다. p = n 인 모델은 포화 된 모델이며 종종 관측 된 데이터에 완벽하게 맞을 것이지만 반드시 미래의 경우를 미리 예측할 수있는 것은 아니기 때문에 종종 과잉 적합합니다.

— Michael R. Chernick

올가미는 최대 변수 만 선택 한다는 것은 LARS 알고리즘을 약간 수정하여 해결할 수 있다는 사실의 결과로 볼 수 있습니다. LARS 알고리즘은 한 번에 최대 변수 만 활성 세트에 허용합니다. 이것이 엘라스틱-넷 케이스에서 유지되지 않는다는 것은 본질적으로 페널티 의 통합에 따른 릿지 회귀와 비슷하게 동작하며, 후자는 일반적으로 모든 계수가 0이 .

n

$n$

n

$n$

ℓ_{2}

$\ell_2$

— 추기경

답변에 감사 드리며 최대 n 개의 변수를 선택할 수있는 그라데이션 하강에 대해 어떻게 알 수 있습니까? cs.cmu.edu/afs/cs/project/link-3/lafferty/www/ml-stat2/talks/ ... 에서 용지 (4 절) datamining.dongguk.ac.kr/papers/GLASSO_JRSSB_V1.final.pdf

— user1137731

@ 사용자 : 수치 솔루션으로 수학 문제를 혼란스럽게 생각할 수 있습니다 . LARS 알고리즘은 올가미 솔루션이 최대 변수를 선택 함을 보여줍니다 . 이것은 솔루션에 도달하기위한 실제 수치 수단과 무관합니다. 즉, LARS 알고리즘은 문제에 대한 통찰력을 제공하지만 문제를 동등하게 해결하는 다른 방법은 동일한 속성을 가져야합니다! :-)

n

$n$

— 추기경

번 복제 된 기능을 고려하십시오 . 정확히 가 0이 아닌 올가미 추정기가 존재합니다 (

조차도 ). 따라서 귀하의 진술은 기록 된대로 사실이 아닙니다.

p

$p$

p

$p$

p > n

$p>n$

— user795305

답변:

말했듯이, 이것은 알고리즘의 속성이 아니라 최적화 문제입니다. KKT 조건은 기본적으로 계수 가 0이 아닌 경우 잔차 ( 는 정규화 매개 변수입니다). $\beta_j$ $|X_j^t(y-X\beta)| = \lambda$ $\lambda$

절대 값 등으로 다양한 합병증을 해결 한 후에는 0이 아닌 각 계수에 대한 선형 방정식이 남습니다. 행렬의 랭크 때문에 많아야이다 시 $X$ $n$ 일이므로, 이것은 풀 수있는 방정식의 수이며, 따라서 중복성이없는 경우 최대 n이 아닌 n이 있습니다. $p>n$

그건 그렇고, 손실이 있는 표준 올가미뿐만 아니라 모든 손실 기능에 해당됩니다 . 사실 이것은 올가미 페널티의 속성입니다. 이 KKT의 견해와 그에 따른 결론을 보여주는 많은 논문이 있습니다. 저는 Rosset and Zhu, Piecewise Linear Regularized Solutions Paths, Annals of Stats 2007 및 논문을 참고할 수 있습니다. $L_2$

— 사 하론 로제트
소스

KKT는 무엇을 의미합니까? 또한 표준 올가미에 대해 이야기 할 때 L1 손실을 의미 할 수 있습니까?

— miura

안녕하세요 Saharon 및 사이트에 오신 것을 환영합니다. LaTeX를 사용하여 수식을 깔끔하게 만들 수 있으며 (답변에서 그렇게 했음) 서명이 자동으로 추가되므로 게시물에 서명 할 필요가 없습니다.

— Peter Flom-Monica Monica 복원

@miura : KKT는 Karush-Kuhn-Tucker의 약자입니다. KKT 조건은 (충분히 규칙적인) 최적화 문제에 대한 솔루션이 충족해야하는 특정 방정식입니다 ( wikipedia article ).

— mogron

난 그냥 라이언 Tibshirani 매우 관련 작업 용지 것을 볼 '올가미 문제와 고유성을.' stat.cmu.edu/~ryantibs/papers/lassounique.pdf

— user1137731

$n < p$ $X$ $n$ $p - n$ $z$ $\beta$ $p - n$ $p$ $\beta+z$ $n$ $\beta_j$

‖ y - X (β + z) ‖_{2}^{2} + λ ‖ β + z ‖_{1} = ‖ y - X β ‖_{2}^{2} + λ ‖ β + z ‖_{1} < ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

감소했다.

— 사용자 2969758
소스

(+1) 여기에 차이가 있습니다. OP 게시물에 대한 내 의견을 참조하십시오.

— user795305