릿지 회귀 – 베이지안 해석

능선 회귀는 사전이 적절하게 선택된 경우 사후 분포의 평균으로 도출 될 수 있다고 들었습니다. 이전의 회귀 계수에 설정된 제약 (예 : 0 주위의 표준 정규 분포)이 동일하고 계수의 제곱 크기에 설정된 페널티를 대체한다는 직감이 있습니까? 이 동등성을 유지하려면 이전이 가우시안이어야합니까?

아닙니다. 다른 선행은 논리적으로 다른 형벌과 관련이 있습니다. 일반적으로 과적 합 / 과해 해석을 줄이기 위해 제로 효과 ( ) 근처에 더 많은 질량이 필요 합니다. 릿지는 2 차 (L2, Gaussian) 페널티이며 올가미는(L1, Laplace 또는 이중 지수 분포) 페널티. 다른 많은 형벌 (우선)이 가능합니다. 베이지안 접근법은 탄탄한 해석 (및 확실한 신뢰할 수있는 간격)을 생성하는 이점이 있지만, 최대 가능성 추정치 (리지, 올가미 등)는 과 신뢰 구간을 산출 하기가 쉽지 않습니다. 바이어스 된 (0쪽으로 축소) 추정기.$\beta=0$$|\beta|$$P$

두 가지 점 :

베이지안 경우의 사후 분포는 분포입니다. 능선 회귀 추정치는 단순히 벡터이다 β 아니라 유통. 따라서 그것들은 완전히 동등하지 않습니다. $\hat{\beta}$

다변량 정규 이전 및 다변량 정규 우도의 경우, 사후가 적절히 선택된 능선 모수에 대한 능선 회귀 추정치 인 평균을 갖는 다변량 법선 인 것이 사실입니다.

이에 대한 증거는 특정 형태의 사전 및 가능성에 따라 다르며보다 일반적인 사전 또는 가능성 기능에는 작동하지 않습니다.