부정적 능선 회귀 이해

부정적 능선 회귀 에 대한 문헌을 찾고 있습니다.

간단히 말하면 추정기 공식에서 음수 를 사용한 선형 능선 회귀의 일반화입니다 .긍정적 인 경우에는 좋은 이론이 있습니다 : 손실 함수, 제약 조건, 베이 즈 이전과 같지만 위의 수식 만 있으면 부정적인 버전으로 잃어 버린 느낌이 듭니다. 내가하고있는 일에 유용하지만 명확하게 해석하지 못합니다. $\lambda$

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$

네가티브 릿지에 대한 진지한 소개 텍스트를 알고 있습니까? 어떻게 해석 할 수 있습니까?

regression regularization ridge-regression

— 베누아 산체스
소스

나는 그것에 대해 이야기하는 입문 텍스트를 모르지만이 소스는 특히 18 페이지 하단의 토론을 밝게

— Ryan Simmons

장래에 연결이 죽는 경우 전체 인용은 "Björkström, A. & Sundberg, R."연속 회귀에 대한 일반화 된 견해 "입니다. 스칸디나비아 통계 저널, 26 : 1 (1999) : pp.17-30

— Ryan Simmons

고마워 이것은 때 (공분산 행렬의 가장 큰 고유 값 ) CR을 통해 릿지를 명확하게 해석 합니다. 아직도 로 해석을 찾고 있습니다 ...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— Benoit Sanchez

Tikhonov 정규화에서 릿지 회귀 의 이러한 발전 에서 Tikhonov 정규화 는 능선 회귀에 대해 가됩니다. 결과적으로 는 일반적으로 로 대체됩니다 . 이것을 부정적으로 만드는 유일한 방법은 를 상상하는 것, 즉 의 배수입니다 . 좋아, 이제 뭐? 어디로 가고 싶니?

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

i = \sqrt{- 1}

$i=\sqrt{-1}$

— Carl

여기에 언급 된 제외 능선 : stats.stackexchange.com/questions/328630/… 일부 링크 포함

— kjetil b halvorsen

다음은 네가티브 릿지에서 일어나는 일을 기하학적으로 보여줍니다.

형식의 추정 고려 손실 함수다음은 와 함께 2 차원 경우에 발생하는 표준 그림입니다 . Zero lambda는 OLS 솔루션에 해당하며, 무한 lambda는 예상 베타를 0으로 축소합니다.

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

이제 일 때 발생하는 상황을 고려하십시오 . 여기서 는 가장 큰 특이 값 입니다. 매우 큰 음수 람다의 경우 는 물론 0에 가깝습니다. 람다 접근하면 , 용어 역이 마이너스 무한대로가는 하나 개의 특이 값을 가지고 있다는 것을 의미 제로에 접근하는 하나 개의 단일 값을 가져옵니다. 이 특이 값은 의 첫 번째 주성분에 해당 하므로 한계 값에서 PC1 방향을 가리키는 얻지 만 절대 값은 무한대로 증가합니다. $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

정말 좋은 점은 동일한 방식으로 같은 그림에 그림을 그릴 수 있다는 것입니다. 베타는 원 이 내부 에서 타원에 닿는 지점에 의해 제공됩니다 .

경우 , 유사한 로직이 OLS 추정기의 반대편에 리지 경로를 계속할 수 있도록 적용된다. 이제 원은 외부로부터 타원 터치. 년 한계는 베타가 PC2 방향에 접근하지만이 스케치와는 거리가 멀다는 것입니다. $\lambda\in(-s^2_\mathrm{min},0]$

범위가의 뭔가 에너지 갭 : 추정량 같은 곡선에없는 라이브가 않습니다. $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

업데이트 : 의견 @MartinL은 대해 의 손실 은 최소는 아니지만 최대를 가지고 있다고 설명합니다. 이 최대 값은 됩니다. 그렇기 때문에 원 / 타원 터치와 동일한 기하학적 구조가 계속 작동합니다. 우리는 여전히 제로 그라데이션 포인트를 찾고 있습니다. 경우 , 손실 최소 가지고 그것은 주어진다 정확하게 정상 같이 건입니다. $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

그러나 일 때 손실 는 최대 값 또는 최소값이 아닙니다. 는 새들 포인트에 해당합니다. 이것은 "에너지 격차"를 설명합니다. $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

자연스럽게 특정 제약 릿지 회귀 발생을 참조 할 때 "단위 분산"리지 회귀 추정기의 한계 . 이것은 화학 계량 학 문헌에서 "연속 회귀"라고 알려진 것과 관련이 있습니다. 연결된 스레드에서 내 대답을 참조하십시오. $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

과 완전히 동일하게 처리 할 수 손실 함수를 동일하게 유지하고, 릿지 추정기 최소를 제공. $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— 아메바의 말에 따르면 복원 모니카
소스

흥미로운 그래프에 감사드립니다. 때 , 당신이 그래프로 한 솔루션은입니다 세계 최대 비용 함수의 아닌 세계 최소. 마찬가지로 인 경우 그래프로 표시 한 지점 은 비용 함수 의 중철 점 이어야합니다 .

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— Martin L

비용 함수에서 2 차 항만 고려하십시오. 로 쓸 수 있습니다 하자 다음의 괄호 내의 행렬은 네거티브 고유 값을 갖는다. 가자 , 매트릭스는 양극과 음극 모두 고유 값을 갖는다. 이 고유 값은 해당 포인트가 비용 함수의 안장 포인트, 최소 또는 최대인지에 영향을줍니다.

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— Martin L

대단히 도움이됩니다. 감사합니다. 내 답변을 업데이트했습니다.

— amoeba는 Reinstate Monica

감사합니다. 특히 새들 포인트는 때만 을 인식합니다 . 경우 용액은 이후 아직 실제로 전역 최소값이고, 확정적 긍정적이다. 따라서 이전의 의견은 부분적으로 잘못되었습니다.

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— Martin L