커널이란 무엇이며 다른 기능과 다른 점은 무엇입니까?


13

커널 기능에 의존하는 많은 머신 러닝 알고리즘이있는 것 같습니다. SVM과 NN의 이름은 2입니다. 그렇다면 커널 함수의 정의는 무엇이고 그것이 유효하기위한 요구 사항은 무엇입니까?


5
나는의 NN은 커널 함수에 의존 것을 언급하지 않았다 - 그들이에 의존 전달 함수 의 비선형 성을 달성하기 위해, 그러나 이것은 커널 함수와 같은 것이 아니다
TDC

답변:


11

S의 x, y의 경우 특정 함수 K (x, y)는 내부 제품 (일반적으로 다른 공간)으로 표현 될 수 있습니다. K는 종종 커널 또는 커널 함수라고합니다. 커널이라는 단어는 수학 전반에 걸쳐 서로 다른 방식으로 사용되지만 이것이 머신 러닝에서 가장 일반적으로 사용됩니다.

커널 트릭은 명시 적으로 계산을 계산할 필요없이 일반 집합 S의 관측치를 내부 제품 공간 V (자연 표준이 장착 된)로 매핑하는 방법입니다. 효율성 (매우 높은 차원 공간에서 도트 제품을 매우 빠르게 계산)과 실용성 (선형 ML 알고리즘을 비선형 ML 알고리즘으로 변환 할 수 있음) 측면에서 중요합니다.

함수 K가 유효한 커널로 간주 되려면 Mercer의 조건충족해야합니다 . 이것은 실제 용어로 커널 매트릭스 (모든 데이터 포인트의 커널 제품을 계산)가 항상 양의 반 정확성을 보장해야한다는 것을 의미합니다. 이를 통해 훈련 목표 기능이 볼록하고 매우 중요한 속성이됩니다.


@carlosdc에게 감사하지만, 당신 이이 오래된 개, 새로운 트릭을 가르치려고하는 것을 두려워합니다. 그것의 많은 것은 내 머리 위에있다. 나는 머서의 조건을 읽었지만 현실 세계에서 그 의미는 상실되었다. 위에서 커널의 적분을 유한 한 값으로 제한해야한다고 가정합니다. 그 가정이 맞습니까?

1
커널 매트릭스가 PSD 인 경우 목표가 볼록한 부분은 목표에 따라 다릅니다. 이는 SVM의 경우에 해당하지만 가우시안 프로세스에서는 커널 매트릭스가 유효한 공분산 매트릭스이므로 반전 할 수 없다는 점이 중요합니다.
bayerj

2

에서 윌리엄스, 크리스토퍼 KI, 칼 에드워드 라스무센. " 머신 러닝을위한 가우스 프로세스. "MIT Press 2, no. 3 (2006). 페이지 80 .

커널 = 한 쌍의 입력 , 를 매핑하는 두 개의 인수 함수입니다 .x 'X RxXxXR

또한 커널 = 커널 기능.

기계 학습 알고리즘에 사용되는 커널은 일반적으로 양의 반정의와 같은 더 많은 속성을 만족시킵니다.


2

덜 기술적 인 설명을 시도합니다.

먼저 두 벡터 사이의 내적을 시작합니다. 이것은 벡터가 얼마나 "유사한"지를 알려줍니다. 벡터가 데이터 세트의 점을 나타내는 경우 내적은 유사 여부를 알려줍니다.

그러나 (많은) 일부 경우에 내적은 최상의 유사성 메트릭이 아닙니다. 예를 들면 다음과 같습니다.

  • 낮은 도트 제품을 가진 포인트는 다른 이유로 유사 할 수 있습니다.
  • 점으로 잘 표현되지 않은 데이터 항목이있을 수 있습니다.

따라서 내적을 사용하는 대신 두 지점을 가져와 유사성을 측정하는 기능인 "커널"을 사용합니다. 기능적으로 기술적으로 커널이되기 위해 어떤 기술 조건이 충족되어야하는지 100 % 확신 할 수 없지만 이것이 바로 아이디어입니다.

아주 좋은 점은 커널이 도메인에 대해 알고있는 xyz 이유 때문에 두 점이 동일하다고 말할 수 있다는 점에서 도메인 지식을 문제에 넣는 데 도움이된다는 것입니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.