정규화 된 선형 대 RKHS 회귀

나는 RKHS 회귀의 정규화와 선형 회귀의 차이점을 연구하고 있지만 두 가지의 중요한 차이점을 파악하기가 어렵습니다.

주어진 입력-출력 쌍 이면 함수 를 다음과 같이 추정하고 싶습니다. 여기서 는 커널 함수입니다. 계수 은 를 풀면 찾을 수 있습니다. 여기서 약간의 표기법 남용으로 커널 행렬 의 번째 항목 인 . 이것은 $(x_i,y_i)$ $f(\cdot)$

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$

K (\cdot, \cdot)

$K(\cdot,\cdot)$

α_{m}

$\alpha_m$

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$

i, j

$i,j$

K

$K$

K (x_{i}, x_{j})

$K(x_{i},x_{j})$

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ 또는 문제를 일반적인 능선 회귀 / 선형 회귀 문제로 취급 할 수 있습니다.

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ with 솔루션

α^{*} = (K^{T} K + λ n I)^{- 1} K^{T} Y .

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

이 두 가지 접근 방식과 해당 솔루션 간의 중요한 차이점은 무엇입니까?

— MthQ
소스

stats.stackexchange.com/questions/79192/…

— Cagdas Ozgenc

@MThQ- '정상적인'능선 회귀에 대한 설명이 여전히 이중에서 작동하지 않습니까? 정상적인 능선 회귀가 원초에서 작동한다고 가정합니다 (명시 적 기능 표현이 작성되는 경우).

— rnoodle

최적화 문제를 기록 할 때 알 수 있듯이 최소화의 유일한 차이점은 힐버트 표준이 처벌에 사용한다는 것입니다. 즉, 벌칙 목적으로 의 '큰'값이 무엇인지를 정량화하는 것 입니다. RKHS 설정에서는 RKHS 내부 제품인 를 사용하지만 능선 회귀는 유클리드 규범에 대해 처벌합니다. $\alpha$ $\alpha^tK\alpha$

흥미로운 이론적 결과는 각 방법이 어떻게 재생 커널 의 스펙트럼에 영향을 미치는가 입니다. RKHS 이론에 따르면, 우리는 가 양의 양의 한정된 양 이라는 것을 알고 있습니다. 스펙트럼 정리에 의해 쓸 수 있습니다. 여기서 는 고유 값의 대각 행렬이고 는 고유 벡터의 직교 정규 행렬입니다. 따라서 RKHS 설정에서 한편, 릿지 회귀 설정에서 대칭으로 , $K$ $K$ $K = U^tDU$ $D$ $U$

\begin{aligned} (K + λ n I)^{- 1} Y & = [U^{t} (D + λ n I) U]^{- 1} Y \\ = U^{t} [D + λ n I]^{- 1} U Y . \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$

K^{t} K = K^{2}

$K^tK=K^2$

\begin{aligned} (K^{2} + λ n I)^{- 1} K Y & = [U^{t} (D^{2} + λ n I) U]^{- 1} K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} U K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} D U Y \\ = U^{t} [D + λ n D^{- 1}]^{- 1} U Y . \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ 의 스펙트럼하자 될 . RKHS 회귀 분석에서 고유 값은 의해 안정화됩니다 . 릿지 회귀에는 있습니다. 결과적으로 RKHS는 고유 값을 균일하게 수정하는 반면 대응하는 가 작을 경우 Ridge는 더 큰 값을 추가합니다 .

K

$K$

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$

ν_{i}

$\nu_i$

커널의 선택에 따라 대한 두 가지 추정치 가 서로 가깝거나 멀어 질 수 있습니다. 연산자 표준 의미의 거리는 그러나 이것은 주어진 대해 여전히 제한됩니다. $\alpha$

\begin{aligned} ‖ α_{RKHS} - α_{Ridge} ‖_{ℓ^{2}} & = ‖ A_{RKHS} Y - A_{Ridge} Y ‖_{ℓ^{2}} \\ \leq ‖ [D + λ n I]^{- 1} - [D + λ n D^{- 1}]^{- 1} ‖_{\infty} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {| (ν_{i} + λ n)^{- 1} - (ν_{i} + λ n / ν_{i})^{- 1} |} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {\frac{λ n | 1 - ν_{i} |}{(ν_{i} + λ n) (ν_{i}^{2} + λ n)}} ‖ Y ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$

Y

$Y$ 두 추정값을 임의로 멀리 떨어 뜨릴 수 없습니다. 따라서 커널이 동일성에 가깝다면 접근 방식에는 거의 차이가 없을 것입니다. 커널이 크게 다른 경우에도 두 가지 방법으로 비슷한 결과를 얻을 수 있습니다.

실제로, 주어진 상황에서 하나가 다른 것보다 낫다면 결정적으로 말하기는 어렵습니다. 커널 함수 측면에서 데이터를 표현할 때 제곱 오차와 관련하여 최소화함에 따라, 해당 힐버트 함수 공간에서 최상의 회귀 곡선을 효과적으로 선택하고 있습니다. 따라서 RKHS 내부 제품에 대한 처벌은 자연스럽게 진행되는 방법으로 보입니다.

— 아담 B 카 슬락
소스

이에 대한 참조가 있습니까?

— rnoodle