가우스 RBF 대 가우시안 커널

RBF (Gaussian Radial Basis Function)를 사용한 선형 회귀와 가우스 커널을 사용한 선형 회귀의 차이점은 무엇입니까?

regression normal-distribution kernel-trick

— 사용자 35965
소스

@ user35965 사이트에 오신 것을 환영합니다. 약어를 철자하십시오. "RBF" 란 방사형 기본 함수 를 의미 합니까?

— gung-Monica Monica 복원

그렇습니다. 내가 의미했던 것입니다. 나중에 참조 할 수 있도록 정식으로 언급되었습니다.

— user35965

유일한 차이점은 적용되는 정규화에 있습니다. 정규화 된 RBF 네트워크는 일반적으로 가중치의 제곱 규범에 따라 페널티를 사용합니다. 커널 버전의 경우 패널티는 일반적으로 커널에 의해 유발 된 피처 공간에 암시 적으로 구성된 선형 모델 가중치의 제곱 규범에 따릅니다. RBF 네트워크에 대한 페널티는 RBF 네트워크의 중심 (따라서 사용 된 데이터 샘플)에 따라 결정되는 반면 실제 RBF 커널의 경우, 샘플에 상관없이 유도 된 피처 공간은 동일합니다. 페널티는 매개 변수화가 아니라 모델 의 기능 에 대한 페널티입니다 .

다시 말해, 두 모델 모두

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

RBF 네트워크 접근의 경우 훈련 기준은

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

RBF 커널 방법의 경우 및 입니다. 이 수단이 유도 기능 공간에서 모델의 무게에 제곱 규범 페널티 킥 이중 매개 변수의 측면에서 쓸 수, 로 $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ $\vec{w}$ $\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

여기서 는 모든 훈련 패턴에 대한 커널의 쌍 단위 평가의 matix입니다. 그때 훈련 기준은 $\matrix{K}$

. $L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$

두 모델의 유일한 차이점 은 정규화 기간 의 입니다. $\matrix{K}$

커널 접근 방식의 주요 이론적 장점은 데이터 샘플에 의존하지 않는 고정 비선형 변환에 따라 비선형 모델을 선형 모델로 해석 할 수 있다는 것입니다. 따라서 선형 모델에 존재하는 모든 통계 학습 이론은 비선형 버전으로 자동 전송됩니다. 그러나 커널 매개 변수를 조정하고 조정하면 RBF (및 MLP) 신경망과 이론적으로 거의 같은 시점으로 돌아갑니다. 따라서 이론적 인 장점은 아마도 우리가 원하는만큼 크지 않을 것입니다.

성능 측면에서 실질적인 차이를 만들 가능성이 있습니까? 아마 많지 않을 것입니다. "무료 점심 없음"정리는 다른 알고리즘보다 우선 순위가 우수하지 않다는 것을 제안하며 정규화의 차이는 미묘하므로 의심 할 경우 두 가지를 모두 시도하고 교차 검증에 따라 최선을 선택하십시오.

— 디크 란 유대류
소스

@CagdasOzgenc 예, RBF의 경우 정규화 기는 커널 시스템의 경우

아니라

입니다.

가

접근함에 따라 기본 함수의 너비가 0에 가까워 질수록 그것들은 더 비슷해집니다 . 기본적으로

는 기본 함수 간의 상관 관계를 설명하기 때문에 이것이 필수적이라고 생각 합니다.

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

— Dikran Marsupial

@CagdasOzgenc 내가 보는 방법 은 정규화 기 의

가 각 기저 벡터에 대해 벌칙에 다르게 가중치를 부여하고, 페널티는 다른 기저 벡터의 선택에 달려 있다는 것입니다. 이 가중치는 상관 관계에 따라 달라 지므로 다른 샘플을 선택하면 가중치가 변경되어 보정됩니다. 그것을 바라 보는 다른 방법은 모델에 의해 결정되는 특징 영역이 정의되어있다

(이들은 데이터를 포함하는 공간에 걸쳐 제공) 기저 벡터의 선택에 의존하지 않는다.

K

$K$

ϕ (x)

$\phi(x)$

— Dikran Marsupial

@CagdasOzgenc 물론 우리의 고유 분해하여 기초 기능의 공간을 변형 할 수

와 회복

정규화 매개 변수를 최적화 유용한 트릭입니다 실제로 (스타일 regulariser을 - doi.org/10.1016/j을 .neunet.2007.05.005 ). 그러나 이러한 변환은 원래 기본 함수 선택의 종속성을 제거합니다. 두 가지가 동일하려면

. 이는 일반적으로 사실이 아닙니다 (특히 RBF 커널에는 해당되지 않음).

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$

— Dikran Marsupial

감사합니다. 나는 이것이 당신에게 돌아올 것이라고 생각합니다. 현재로서는 귀하의 이해 수준이 아닌 것 같습니다. 나는 더 많은 생각을해야합니다 :).

— Cagdas Ozgenc

@CagdasOzgenc 문제 없음, 대부분의 표준 텍스트는 커널 기능의 고유 기능을 통해 설명합니다. ; o)

— Dikran Marsupial