RBF SVM의 효과를 이해하는 방법

SVM의 RBF 커널이 무엇을 이해하는지 어떻게 알 수 있습니까? 나는 수학을 이해한다는 것을 의미하지만이 커널이 유용 할 때 느낌을 얻는 방법이 있습니까?

RBF에 벡터 거리가 포함되어 있기 때문에 kNN의 결과가 SVM / RBF와 관련이 있습니까?

다항식 커널에 대한 느낌을 얻는 방법이 있습니까? 치수가 높을수록 더 빠를 수 있습니다. 그러나 가능한 모든 커널을 시도하고 가장 성공적인 것을 선택하기보다는 커널이하는 일에 대한 직감을 얻고 싶습니다.

내 대답 중 하나를 살펴보면 시작할 수 있습니다.
RBF 커널을 사용한 비선형 SVM 분류

그 대답에서 나는 커널 함수가 무엇을하려고하는지 설명하려고합니다. 후속 조치로 수행하려는 작업을 파악하면 Quora에 대한 질문에 대한 답변을 https://www.quora.com/Machine-Learning/Why-does-the-RBF- 무한 차원 공간 / 응답 / Arun-Iyer-1에 방사형 기저 함수 커널 맵

Quora 계정이없는 경우 Quora에 대한 답변 내용을 재현합니다.

질문 : RBF (방사선 기저 함수) 커널이 무한 차원 공간에 매핑되는 이유는 무엇입니까? 답 : 로 정의 된 차수 2의 다항식 커널을 고려하십시오. 여기서 x , y ∈ R 2 및 x = ( x 1 , x 2 ) , y = ( y 1 , y 2 ) .

$$k(x, y) = (x^Ty)^2$$ $x, y \in \mathbb{R}^2$$x = (x_1, x_2), y = (y_1, y_2)$

따라서, 커널 함수는,로 쓸 수 자, 우리가 기능 맵을 마련 해보자 Φ 커널 함수는 다음과 같이 기록 될 수 있도록 K ( X

$$k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$$ $\Phi$ .$k(x, y) = \Phi(x)^T\Phi(y)$

다음 피처 맵을 고려하십시오 기본적으로이 기능 맵은 R 2의점을 R 3의 점에 맵핑합니다. 또한Φ(x)TΦ(y)=x 2 1 y 2 1 +2x1x2y1y2+x 2 2 y 2 2 는 본질적으로 커널 함수입니다.

$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$$ $\mathbb{R}^2$$\mathbb{R}^3$ $$\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$$

이것은 우리의 커널 함수가 실제로 점의 내부 / 도트 곱을 계산한다는 것을 의미합니다 . 즉, 우리의 점을 R 2 에서 R 3으로 암시 적으로 매핑합니다 .$\mathbb{R}^3$$\mathbb{R}^2$$\mathbb{R}^3$

연습 문제 : 점이 인 경우 차수 2의 다항식 커널은 암시 적으로이를 벡터 공간 F에 매핑합니다.이 벡터 공간 F의 차원은 무엇입니까? 힌트 : 위에서 한 모든 것은 단서입니다.$\mathbb{R}^n$

이제 RBF에 왔습니다.

$\mathbb{R}^2$

$$k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$$ $$= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$$ $$= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$$ $$k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$$ $\Phi$$\mathbb{R}^2$

연습 문제 : 위의 경우에 RBF에 대한 기능 맵의 처음 몇 가지 벡터 요소를 가져옵니다.

이제 위의 답변에서 우리는 무언가를 결론 지을 수 있습니다.

• $\Phi$
• $\Phi$$\mathbb{R}^2$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$