LASSO가 Laplace를 사용한 선형 회귀에 해당하는 경우 성분이 0 인 세트의 질량은 어떻게 될 수 있습니까?

우리는 LASSO 최적화 (단순성을 위해 여기서 선형 회귀의 경우에주의를 한정 함) 은 매개 변수에 Laplace prior 가 주어진 가우스 오류가있는 선형 모델과 같습니다. 또한 높은 값이 튜닝 매개 변수를 설정한다는 것을 알고 있습니다. 이면 매개 변수 부분이 클수록 0으로 설정됩니다. 이것은 다음과 같은 생각을 가지고 있습니다.

l o s s = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

${\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1$

\exp (- λ ‖ β ‖_{1})

$\exp(-\lambda \| \beta \|_1 )$

λ

$\lambda$

뷰의 베이지안 지점에서 우리는 비제 파라미터 추정 간격의 임의의 주어진 집합에 놓여 말하자면, 그 사후 확률을 계산할 수 있음을 고려 하고 올가미가 제로로 설정 파라미터 제로인됩니다. Laplace 이전의 연속 (실제로는 절대적으로 연속적)이라는 점을 감안할 때 혼란 스럽습니다. 에서 간격과 싱글 톤의 곱으로 구성된 집합에 질량이 어떻게 존재할 수 $\{0\}$ 있습니까?

lasso laplace-distribution

— 그랜트 이즈미 리안
소스

뒤가 연속 PDF가 아니라고 생각하는 이유는 무엇입니까? 0 개의 성분이 많은 지점에서 후부의 최대 값이 발생한다는 사실이 그 자체가 연속적인 pdf가 아니라는 것을 의미하지는 않습니다.

— Brian Borchers

후부는 연속 PDF입니다. 제한된 최대 우도 추정으로 볼 때, 실제 모델이 여러 회귀 계수에서 0을 가지고 튜닝 상수가 충분히 클 때 동일한 데이터 분포에서 반복 된 드로우를 상상한다면 CMLE은 항상 동일한 성분을 0으로 설정하고 매개 변수가 0이면 해당 신뢰 구간으로 확산됩니다. 베이지안 관점에서 이것은 이러한 세트에 대해 양의 확률을 갖는 것과 같습니다. 내 질문은 어떻게 지속적으로 배포 할 수 있는가하는 것입니다.

— Grant Izmirlian

CLME 솔루션은 MAP 추정치와 일치합니다. 더 이상 할 말이 없습니다.

— Sycorax는 Reinstate Monica가

CMLE 솔루션은 사후 샘플이 아닙니다.

— Brian Borchers

후자는 더 낮은 차원의 집합에 질량을 두지 않기 때문에 모순이 없습니다.

— 시안

위의 모든 의견과 마찬가지로 LASSO에 대한 베이지안 해석은 사후 분포의 예상 값을 취하지 않습니다 . 이는 순수 주의자라면 원하는 것입니다. 만약 그렇다면, 데이터가 주어지면 후부가 0 일 가능성이 매우 적다는 것이 옳을 것입니다.

실제로, LASSO의 베이지안 해석은 후부의 MAP (Maximum A Posteriori) 추정기를 사용하고 있습니다. 익숙한 것처럼 들리지만 그렇지 않은 사람에게는 기본적으로 베이지안 최대 가능성입니다. 여기서 LASSO의 매개 변수에 대한 추정값으로 최대 발생 확률 (또는 모드)에 해당하는 값을 사용합니다. 분포가 음의 방향에서 0이 될 때까지 기하 급수적으로 증가하고 양의 방향으로 기하 급수적으로 떨어지기 때문에, 데이터가 베타가 다른 중요한 값을 강력하게 암시하지 않는 한, 사후의 최대 값은 0 일 가능성이 높습니다.

간단히 말해서 직감은 사후의 평균을 기반으로하는 것처럼 보이지만 LASSO의 베이지안 해석은 사후 모드를 기반으로합니다.

— www3
소스