포인트 단위 제품에서 커널 기능의 근접성 증명

13

두 커널 함수의 포인트 형 곱이 커널 함수임을 어떻게 증명할 수 있습니까?

machine-learning kernel-trick

— 길리
소스

18

포인트 단위 제품으로, 나는 당신이 가 둘 다 유효한 커널 함수라면 그들의 제품 이라는 것을 의미한다고 가정합니다. $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

유효한 커널 함수이기도합니다.

Mercer의 정리를 호출 할 때이 속성을 증명하는 것이 다소 간단합니다. 이후 우리는 그들이 내적 표현을 인정해야 (머서를 통해) 알고, 올바른 커널이다. 하자 의 특징 벡터 나타낸다 와 에 대해 동일한 나타내는 . $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (x, y) = a (x)^{T} a (y), a (z) = [a_{1} (z), a_{2} (z), \dots a_{M} (z)] \\ k_{2} (x, y) = b (x)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

따라서 는 dim 벡터 를 생성하는 함수 이고 는 dim 벡터를 생성합니다 . $a$ $M$ $b$ $N$

다음으로 와 제품을 작성하고 재 그룹화를 수행합니다. $a$ $b$

\begin{aligned} k_{p} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M} a_{m} (x) a_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [a_{m} (x) b_{n} (x)] [a_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

여기서 는 차원 벡터이며, st 입니다. $c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

이제 기능 맵 사용하여 를 내부 제품으로 가 Mercer 's 정리를 통해 유효한 커널 것을 알 수 있습니다. 그것이 전부입니다. $k_p(x,y)$ $c$ $k_p$

— 마이크 휴즈
소스

힐버트 공간의 특징이 유한 차원이라는 것을 어떻게 알 수 있습니까? 분리 할 수없는 것일까?

— Andrei Kh

첫 번째 단락에 따르면 커널 은 내부 제품 표현의 존재를 합니다. 그러나 결론적으로 내부 제품 표현이 존재한다는 것은 가 커널 이라는 것을 의미합니다 . 왜 유효합니까?

k

$k$

⟹

$\implies$

k_{p}

$k_p$

— Viktor Glombik

3

다음 증거는 어떻습니까?

출처 : UChicago 커널 방법 강의 , 5 페이지

— 팔렌
소스

0

가정 및 두 커널의 커널 행렬이다 및 은 각각, 그들은 PSD이다. 우리는 정의 하고도 커널 증명하고 싶다. 이것은 대응하는 커널 행렬 가 PSD 임을 증명하는 것과 같습니다 . $K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$ 는 PSD입니다 (두 PSD의 크로네 커 곱은 PSD 임).
$K$ 는 의 주요 하위 행렬 이므로 PSD입니다 (PSD의 주요 하위 행렬은 PSD). $K_3$

— 세 야오 장
소스