SVM에서 커널의 차이점은 무엇입니까?


26

누군가 SVM에서 커널의 차이점을 말해 줄 수 있습니까?

  1. 선의
  2. 다항식
  3. 가우시안 (RBF)
  4. 시그 모이 드

우리가 알고 있듯이 커널은 입력 공간을 높은 차원의 기능 공간으로 매핑하는 데 사용됩니다. 그리고 그 특징 공간에서 우리는 선형으로 분리 가능한 경계를 찾습니다.

그것들은 언제 (어떤 조건 하에서) 사용되며 왜 그런가?

답변:


4

선형 커널은 선형 모델입니다. 나는 다항식 커널이 비슷하다고 생각하지만 경계는 정의되었지만 임의의 순서입니다.

(예 : 순서 3 : a=b1+b2X+b3X2+b4X3 ).

RBF는 데이터 점 주위에 정규 곡선을 사용하고, 합이 값이 0.5보다 큰 곡선과 같은 토폴로지 조건 유형으로 결정 경계를 정의 할 수 있도록 합산합니다. (이 사진 참조 )

로지스틱 함수가 로지스틱 함수가 로지스틱 값이 정규 값과 같은 일부 값 (모델링 확률)보다 큰 위치에 따라 곡선을 정의하는 데 사용되는 로지스틱 회귀 모델과 유사하지 않은 한 시그 모이 드 커널이 무엇인지 확실하지 않습니다. 케이스.


따라서 선형 커널을 사용하면 좀 더 분리 가능한 초평면 (경계)을 얻을 수 있습니까? 다항식 또는 RBF 커널을 사용하는 경우 (다항식) 하이퍼 레인은 그룹화 된 클래스의 원 (RBF) 및 곡선 일 수 있습니다. 맞습니까? scikit-learn.org/stable/modules/svm.html
user3378327

각 커널은 각 경계의 고차원 버전에서 작동합니다. 그 질문에 대답합니까? 내가 알고있는 커널에 대해서는 3 차원으로 제한되지 않습니다.
John Yetter

난 그냥 분명히하고 싶어 선형 커널을 사용하는 경계는 선형입니까? RBF의 경우 그룹화 된 클래스의 원과 같습니다 ?? 다항식의 경우 다항식의 정도에 따라 곡선이 될 수 있습니다.
user3378327

RBF가 그룹 클래스의 원이라고 말하고 싶지 않습니다. 내 이해는 각 데이터 포인트에서 정규 분포를 기반으로 함수를 적용하고 이러한 함수를 합산한다는 것입니다. 그런 다음 해당 함수의 특정 값을 나타내는 곡선으로 경계가 형성됩니다. SVM 라이브러리에 기여한 누군가가 참여할 수 있다면 도움이 될 것입니다. 다른 두 커널에 대한 이해가 정확하다고 생각합니다.
John Yetter

U는 Linier Kernel이 Kernel을 사용하여 기대할만한 수준이라고 말했습니다. SVM 분류기를 사용하여 LINIER SVM이라고했습니다. 그러나 SVM에서 커널없이 깔끔하고 분리 가능한 데이터를 얻을 수 있다면 어떨까요? 우리가 뭐라고 부르나요? 여전히 Linier SVM 또는 Non Linier SVM ??
user3378327

11

커널에 대한 독자의 기본 지식에 의존합니다.

선형 커널 : K(X,Y)=XTY

K(X,Y)=(γXTY+r)d,γ>0

K(X,Y)=exp(XY2/2σ2)exp(γXY2),γ>0

K(X,Y)=tanh(γXTY+r)

rdγ


3
귀하의 답변에있는 정보는 정확하지만 여기에 제기 된 질문에 대한 답변이라고 생각하지 않습니다.이 질문 사이의 실제 차이점, 둘 중 어느 것을 사용 해야하는지에 대한 것 입니다.
Firebug

1
놀랍게도 이러한 간단한 정의는 달성하기 어렵습니다. 그것들은 커널의 차이점에 관해 이야기 할 때 가장 먼저 제시되어야하지만, 그것들을 명시하지 못하는 것은 널리 퍼져 있습니다.
cammil

이것들에 대한 공식적인 출처가 있습니까? (나는 그들을 테스트하고 그들은 정확 해 보이지만 인용하고 싶습니다.)
Christian Eriksson

6

이 질문은 이론적이고 실용적인 관점에서 대답 할 수 있습니다. No-Free Lunch 정리에 따르면 이론적으로 한 커널이 다른 커널보다 더 잘 작동한다고 보장 할 수는 없습니다. 그것은 당신이 결코 알지 못하고 어떤 커널이 더 잘 작동하는지 알 수없는 선구자입니다.

실제적인 관점에서 다음 페이지를 참조하십시오.

SVM 용 커널을 선택하는 방법은 무엇입니까?


1

커널이 "좋은"것이 무엇인지 또는 언제 사용해야하는지에 대해 생각할 때 어렵고 빠른 규칙은 없습니다.

분류 자 / 회귀자가 지정된 커널에서 제대로 작동하는 경우 그렇지 않은 경우 다른 커널로 변경하는 것이 좋습니다.

예를 들어 https://gist.github.com/WittmannF/60680723ed8dd0cb993051a7448f7805 와 같은 시각화 예제를 검토하여 커널이 수행 할 수있는 방법, 특히 분류 모델 인 경우에 대한 통찰력을 얻을 수 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.