LARS의 올가미 수정


12

Lasso를 생성하기 위해 Lars 알고리즘을 수정하는 방법을 이해하려고합니다. LARS를 이해하는 동안 Tibshirani 등의 논문에서 Lasso 수정을 볼 수 없습니다. 특히 0이 아닌 좌표의 부호가 현재 상관 관계의 부호와 일치 해야하는 부호 조건을 왜 알지 못합니다. 누군가 나를 도와주세요. 나는 원래 L-1 규범 문제, 즉 올가미에서 KKT 조건을 사용하여 수학 증거를 찾고 있다고 생각합니다. 감사합니다!


Efron et al 's stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf 를 언급하고 있습니까? 이것은 섹션 5의 Lemma 8에서이를 증명합니다. 아니면 귀하의 질문을 오해하고 있습니까?
피터 엘리스

1
나는 또한 질문에 대해 확신하지 못하지만 실제로 올가미는 Lars의 단순화입니다. 올가미의 경우 현재 잔차와 나머지 기본 함수 사이의 긍정적 인 상관 관계 만 찾고 있습니다. 긍정적 인 상관 관계 만 긍정적으로 이어지기 때문입니다. (~ 음이 아닌) 계수.
Mr. White

답변:


2

Xn×pyn×1βp×1λ>0l1

그런 다음 LASSO 문제는 를 씁니다.

β=argminβ L(β,λ)L(β,λ)=yXβ22+λβ1

의 모든 값에 대해이를 해결하면 소위 LASSO 정규화 경로 됩니다.λ>0β(λ)

벌점 계수 의 고정 값 (즉, 고정 된 활성 예측 변수 수 = LARS 알고리즘의 고정 단계)의 경우 다음과 같이 KKT 정상 성 조건을 만족함 을 보여줄 수 있습니다. 답변 )λβ

λ=2 sign(βa)XaT(yXβ),   aA

함께 활성 예측의 세트를 나타내는.A

때문에 의 부호가 있는지 (그것이 penalisation 계수)가 분명 양수 여야 (0이 아닌 따라서 활성 예측기의 중량)보다 동일해야 즉 현재 회귀 잔차와의 상관 관계.λβaXaT(yXβ)=XaTr


1

@ Mr._White는 LARS와 Lasso의 주요 차이점에 대한 직관적 인 설명을 제공했습니다. 내가 덧붙일 유일한 요점은 올가미가 역 선택 방식과 비슷하다는 것인데, 어떤 관계가 존재 하는지에 대한 용어가 존재하는 한 ( 대해 "정규화 된") 용어가 존재하는 한 올가미 선택 접근 방식과 유사하다는 것입니다 . LARS는 기본적으로 올가미를 가능한 모든 순서로 수행합니다. 이는 올가미에서 각 반복이 어떤 용어가 이미 제거되었는지에 달려 있음을 의미합니다. X×X

Effron의 구현은 차이점이 잘 다르다는 것을 보여줍니다 . lars 에 대한 소스 pkg의 lars.R 180 행에서 시작 하는 행렬 행렬 및 의 업데이트 단계 와 에 대한 용어가 삭제 됩니다. 용어 가 균형이 맞지 않는 공간 에서 발생하는 이상한 상황을 상상할 수 있습니다 ( 과 는 서로 관련이 있지만 다른 것과는 관련이 없으며 는 있지만 다른 그렇지 않습니다). 선택 순서가 상당히 편향 될 수 있습니다.X×Xζζmin<ζcurrentAx1x2x2x3

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.