원시, 이중 및 커널 릿지 회귀의 차이점

Primal , Dual 및 Kernel Ridge Regression 의 차이점은 무엇입니까 ? 사람들은 세 가지를 모두 사용하고 있으며 다른 출처에서 사용하는 다른 표기법으로 인해 따르기가 어렵습니다.

누군가이 단어의 차이점을 간단한 단어로 말해 줄 수 있습니까? 또한 각각의 장단점은 무엇이며 복잡성은 무엇입니까?

짧은 대답 : Primal과 Dual의 차이점은 없습니다. 솔루션에 도달하는 방법에 불과합니다. 커널 능선 회귀는 본질적으로 일반적인 능선 회귀와 동일하지만 커널 트릭을 사용하여 비선형으로 이동합니다.

선형 회귀

우선, 일반적인 최소 제곱 선형 회귀는 제곱 오차의 합이 최소가되도록 데이터 점 세트에 직선을 맞추려고합니다.

우리는 가장 적합한 선을 파라 하고 각 데이터 포인트 대해 . 하자 오류 일 - 예측과 실제 값 사이의 거리. 따라서 우리의 목표는 제곱 오차의 합을 최소화하는 것입니다. 여기서 -각 가 행이고 모든 있는 벡터 인 데이터 행렬 .$\mathbb w$$(\mathbf x_i, y_i)$$\mathbf w^T \mathbf x_i \approx y_i$$e_i = y_i - \mathbf w^T \mathbf x_i$$\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$$X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$$\mathbf x_i$$\mathbf y = (y_1 , \ ... \ , y_n)$$y_i$

따라서 목표는 이고 해는 ( "정상 방정식"으로 알려짐)입니다.$\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$$\mathbf w = (X^T X)^{-1} X^T \mathbf y$

보이지 않는 새로운 데이터 포인트 의 경우 목표 값 를 예측합니다 .$\mathbf x$, Y$\hat y$, Y는 = 승 T의 X$\hat y = \mathbf w^T \mathbf x$

릿지 회귀

선형 회귀 모형에 많은 상관 변수가있는 경우 계수 는 잘못 결정될 수 있고 분산 이 많습니다 . 이 문제에 대한 해결책 중 하나는 무게 를 제한하여 일부 예산 초과하지 않도록하는 것 입니다. 이는 "무게 감쇄"라고도 하는 를 사용하는 것과 동일합니다 . 때로는 올바른 결과가 누락되는 경우 (예 : 약간의 편차를 유발하여) 편차를 줄입니다.$\mathbf w$$\mathbf w$$C$$L_2$

목표는 이제 이고 는 정규화 매개 변수입니다. 수학을 통해 다음과 같은 솔루션을 얻습니다. . 일반적인 선형 회귀와 매우 유사하지만 여기서는 의 각 대각선 요소에 를 추가 합니다.$\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$$\lambda$$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$$\lambda$$X^T X$

를 로 다시 쓸 수 있습니다 자세한 내용 은 여기 참조). 보이지 않는 새로운 데이터 포인트 의 경우 목표 값 를 예측합니다 입니다. 보자 . 그런 다음 입니다.$\mathbf w$$\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$$\mathbf x$, Y$\hat y$, Y = X T w = X T X T$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$, Y = X T X T α = N Σ 난 = 1 α I ⋅ X T X 난$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$

릿지 회귀 이중 형식

목표를 다르게 살펴보고 다음 2 차 프로그램 문제를 정의 할 수 있습니다.

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ st for 과 .$e_i = y_i - \mathbf w^T \mathbf x_i$$i = 1 \, .. \, n$$\| \mathbf w \|^2 \leqslant C$

그것은 같은 목표이지만 다소 다르게 표현되며 여기서 의 크기에 대한 제약 은 명시 적입니다. 이를 해결하기 위해 Lagrangian 정의합니다 이것은 초기 변수 및 를 포함하는 기본 형식입니다 . 그런 다음 wrt 및 최적화합니다 . 이중 공식화를 얻기 위해 found 와 를 .$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathbf w$$\mathbf e$$\mathbf e$$\mathbf w$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$

따라서 . 유도체 WRT 취하여 및 , 우리가 구 및 . 시켜서 , 퍼팅을 와 돌아 가기 우리 얻을 듀얼 라그랑지안$\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$$\mathbf w$$\mathbf e$$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$ . 우리가 미분 wrt 취 하면 일반적인 Kernel Ridge 회귀와 같은 대답을 얻습니다 . 미분 wrt 를 취할 필요가 없습니다 - 정규화 매개 변수 인 의존하고 정규화 매개 변수도 만듭니다 .$\boldsymbol \alpha$$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$$\lambda$$C$$\lambda$

다음으로, 를 대한 기본 양식 솔루션에 넣고 . 따라서 이중 형식은 일반적인 Ridge Regression과 동일한 솔루션을 제공하며 동일한 솔루션을 얻는 다른 방법 일뿐입니다.$\boldsymbol \alpha$$\mathbf w$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$

커널 릿지 회귀

커널은 특정 피쳐 공간에서 두 벡터를 방문하지 않고도 내부 벡터를 계산하는 데 사용됩니다. 커널 를 로 볼 수 있지만 이 무엇인지 알 수는 없습니다. 우리는 그것이 존재한다는 것을 알고 있습니다. RBF, Polynonial 등과 같은 많은 커널이 있습니다.$k$$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\phi(\cdot)$

커널을 사용하여 Ridge Regression을 비선형으로 만들 수 있습니다. 커널 가 있다고 가정 합니다. 하자 각 행에있는 행렬 , 즉$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\Phi(X)$$\phi(\mathbf x_i)$$\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

이제 우리는 Ridge Regression에 대한 솔루션을 취하고 모든 를 바꿀 수 있습니다 : 입니다. 보이지 않는 새로운 데이터 포인트 의 경우 목표 값 를 .$X$$\Phi(X)$$\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$$\mathbf x$$\hat y$$\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$

먼저, 를 로 계산 된 행렬 대체 할 수 있습니다 . 그런 다음 는 . 그래서 여기서 우리는 문제의 모든 내적을 커널로 표현했습니다.$\Phi(X) \Phi(X)^T$$K$$(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$$\phi(\mathbf x)^T \Phi(X)^T$$\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$

마지막으로, (이전과 같이)를함으로써$\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$$\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

참고 문헌

• TU Berlin의 기계 학습 I 수업
• 통계 학습의 요소, http://statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf