불분명 한 방정식 시스템에 릿지 회귀를 적용합니까?

하면 구형 제한을 부과 최소 제곱 문제 값에 같이 쓸 수있다 과대 결정된 시스템. 는 벡터의 유클리드 표준입니다. $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

대한 해당 솔루션 $\beta$ 은

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ 이것은 Lagrange multipliers (

λ

$\lambda$ 는 multiplier) 의 방법에서 파생됩니다 :

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

그 특성이 있다는 것을 이해할

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ 오른쪽 은 결정된 경우 (추가 정규화 매개 변수

) 에서 회귀 행렬

의 의사 역수와 유사합니다 . 이는 동일한 식을 사용 하여 과소 결정된 경우에 대해

를 근사화 할 수 있음을 의미합니까 ? 구면 제한 구속 조건이 목적 함수 (최소 규범

) 와 중복되므로 미결정 된 경우 해당 표현에 대한 별도의 도출이 있습니까?

X

$X$

λ

$\lambda$

β

$\beta$

β

$\beta$

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— 모자 매트릭스
소스

능선 회귀 문제의 공식화에서 시작하여

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

당신은 문제를 다음과 같이 쓸 수 있습니다

$\min \| A\beta - b \|_{2}^{2}$

어디

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

과

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

행렬 는 부분으로 인해 전체 열 순위를 갖습니다 . 따라서 고유 솔루션으로 최소 제곱 문제 $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

이것을 와 로 작성하고 많은 0을 단순화하면 $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

이 파생물 에는 에 행이나 열이 더 있는지 또는 가 전체 순위 를 갖는지 여부에 따라 달라지지 않습니다 . 따라서이 공식은 결정되지 않은 경우에 적용 할 수 있습니다. $X$ $X$

경우 대수적 사실입니다 . $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

따라서 우리는 또한 사용하는 옵션이 있습니다

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

특정 질문에 대답하려면 다음을 수행하십시오.

그렇습니다. 두 공식 모두 결정되지 않은 경우와 초과 결정된 경우에 모두 적용됩니다. 그들은 또한 일 경우 이하의 행과 열 수의 최소보다 . 두 번째 버전은 가 보다 작기 때문에 결정되지 않은 문제에 대해 더 효율적일 수 있습니다 . $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
나는 다른 감쇠 최소 제곱 문제로 시작하고 정규 방정식을 사용하는 수식의 대체 버전의 파생을 알지 못합니다. 어쨌든 약간의 대수를 사용하여 직선 방식으로 파생시킬 수 있습니다.

능형 회귀 문제를 다음과 같은 형태로 생각할 수 있습니다.

$\min \| \beta \|_{2}^{2}$

에 따라

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

그러나이 버전의 능선 회귀 문제는 단순히 동일한 감쇠 최소 제곱 문제를 유발합니다. . $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— 브라이언 보처 스
소스

에 전체 행 순위 또는 전체 열 순위가 있으면 가 0이 되므로 제한에서 발생하는 것을 주목할 가치가 있습니다. 에 전체 열 순위가 있으면 한계에서 의사 역수 를 얻습니다 . 마찬가지로 에 전체 행 순위가 있으면 한계에서 유 사역 을 얻습니다 . 따라서 이것은 예상대로 작동합니다.

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— Brian Borchers

이것은 엄청나게 포괄적 인 답변이며 증강 배열 (그리고 내가 놓친 대수)에서 파생 된 것은 매우 만족 스럽습니다. 나는 당신이 마지막에 제시 한 형태로 능선 회귀 문제를 생각하지 않았지만 그것이 동일한 목적 함수로 이어지는 것을 보는 것은 흥미 롭습니다. 큰 감사합니다!

— hatmatrix

감사. 나는 뻔뻔한 플러그를 여기에 삽입 할 것입니다-당신은 Rick Aster와 Cliff Thurber와 함께 저술 한 매개 변수 추정 및 역 문제에 대한 교과서 에서이 (및 많은 관련 자료)를 찾을 수 있습니다.

— Brian Borchers

또한 실제로이 행렬을 역으로 계산하는 것이 일반적으로이 공식을 사용하는 가장 좋은 방법은 아니라고 덧붙입니다. 의 크기와 가능한 희소성에 따라 반복 체계를 사용하거나 행렬 의 Cholesky 인수 분해를 사용하는 것이 훨씬 좋습니다 .

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— Brian Borchers

제안 해 주셔서 감사합니다! 이 자료에서 텍스 북을 찾는 데 어려움을 겪고있는 귀하의 서적에 대한 참조에 감사드립니다. 우리의 데이터 크기는 실제로 크지 않습니다 (데이터 세트를 분리하기 위해 여러 번 적용해야 할 수도 있음). 직접 역수를 사용할 수는 있지만 추가 포인터 덕분에!

— hatmatrix