올가미 패널티가 이전의 이중 지수 (Laplace)에 해당하는 이유는 무엇입니까?

회귀 모수 벡터 대한 올가미 추정치 $B$가 각 B i에 대한 이전 분포 가 이중 지수 분포 (라플라스 분포라고도 함) 인 의 사후 모드와 같다는 많은 참고 문헌을 읽었습니다 .$B$$B_i$

나는 이것을 증명하려고 노력했다. 누군가가 세부 사항을 살릴 수 있습니까?

단순하자 그냥 변수의 하나의 관찰을 고려할 것를 들어 $Y$ 그러한를

$$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$$

$\mu \sim \mbox{Laplace}(\lambda)$ 및 부적절한 선행 $f(\sigma) \propto \mathbb{1}_{\sigma>0}$ .

그런 다음 의 접합 밀도는 f ( Y , μ , σ 2 | λ ) ∝ $Y, \mu, \sigma^2$ 비례합니다

$$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$$

포함하지 않는 조건 로그를 취하고 폐기 , 로그 (F)을 ( Y는 , μ는 , σ 2 ) = - $\mu$

$$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$$

따라서 (1)의 최대 값은 MAP 추정치이며 실제로 다시 매개 변수화 한 후 올가미 문제 입니다. $\tilde \lambda = \lambda \sigma^2$

회귀 연장은 분명하다 - 대체 와 X β 정상 확률, 그리고 이전에 설정된 β는 독립적 라플라스의 순서로 ( λ ) 분포.$\mu$$X\beta$$\beta$$(\lambda)$

이것은 LASSO가 최적화하고있는 수량을 검사함으로써 분명합니다.

$\beta_i$$\tau$

$p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

$y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

이제 후부의 로그를 두 배 빼면 형태가됩니다

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

$\lambda=\sigma^2/\tau$$-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

$\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

$\beta$

$\sigma^2$

$\beta$