방사형 기저 함수가 커널임을 증명하는 방법?

34

방사형 기저 함수 가 커널 임을 증명하는 방법 은 무엇입니까? 내가 이해하는 한, 이것을 증명하기 위해 우리는 다음 중 하나를 증명해야합니다. $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$

벡터 집합 행렬 = 은 양의 반정의입니다. $x_1, x_2, ..., x_n$ $K(x_1, x_2, ..., x_n)$ $(k(x_i, x_j))_{n \times n}$
= 과 같은 매핑 가 제공 될 수 있습니다 . $\Phi$ $k(x, y)$ $\langle\Phi(x), \Phi(y)\rangle$

어떤 도움?

svm kernel-trick

— 사자 별자리
소스

1

더 명확하게 연결하기 위해 : 이 질문에서 기능 맵 , 특히 Taylor 시리즈와 광산 을 기반으로 한 Marc Claesen의 답변 은 RKHS와 Douglas가 제공 한 임베딩 의 일반 버전을 모두 설명 합니다.

L_{2}

$L_2$

— Dougal

26

Zen은 방법 1을 사용했습니다. 방법 2 : 를 Hilbert 공간 에서 를 중심으로하는 구형 대칭 가우스 분포에 매핑 합니다. 이것이 올바르게 작동하려면 표준 편차와 상수 요소를 조정해야합니다. 예를 들어 한 차원에서 $x$ $x$ $L^2$

\int_{- \infty}^{\infty} \frac{\exp [- (x - z)^{2} / (2 σ^{2})]}{\sqrt{2 π} σ} \frac{\exp [- (y - z)^{2} / (2 σ^{2})}{\sqrt{2 π} σ} d z = \frac{\exp [- (x - y)^{2} / (4 σ^{2})]}{2 \sqrt{π} σ} .

$\int_{-\infty}^\infty \frac{\exp[-(x-z)^2/(2\sigma^2)]}{\sqrt{2 \pi} \sigma} \frac{\exp[-(y-z)^2/(2 \sigma^2)}{\sqrt{2 \pi} \sigma} dz = \frac{\exp [-(x-y)^2/(4 \sigma^2)]}{2 \sqrt \pi \sigma}.$

따라서 표준 편차 하고 가우스 분포를 조정하여 을 얻습니다 . 이 마지막 크기 조정 은 정규 분포 의 규범이 일반적으로 이 아니기 때문에 발생합니다 . $\sigma/\sqrt 2$ $k(x,y) = \langle \Phi(x), \Phi(y)\rangle$ $L^2$ $1$

— 더글러스 자레
소스

2

@Zen, Douglas Zare : 훌륭한 답변에 감사드립니다. 공식 답변을 어떻게 선택해야합니까?

— Leo

23

pd 커널을 만드는 것으로 알려진 일련의 일반적인 단계에서 커널을 빌드하는 것입니다. 는 아래 커널의 도메인을 나타내고 는 기능 맵을 보자 . $\mathcal X$ $\varphi$

스케일링 : 만약 하는 PD 커널, 그렇습니다 어떤 상수 . $\kappa$ $\gamma \kappa$ $\gamma > 0$

증명 : 가 의 기능 맵인 경우 는 의 유효한 기능 맵입니다 . $\varphi$ $\kappa$ $\sqrt\gamma \varphi$ $\gamma \kappa$
합계 : 만약 및 PD 커널입니다, 그래서이다 . $\kappa_1$ $\kappa_2$ $\kappa_1 + \kappa_2$

증명 : 연결하여이 기능을 매핑 와 , 얻을 . $\varphi_1$ $\varphi_2$ $x \mapsto \begin{bmatrix}\varphi_1(x) \\ \varphi_2(x)\end{bmatrix}$
한계 : 경우 PD 커널하고있다 모두에 대해 존재 그리고, 는 pd입니다. $\kappa_1, \kappa_2, \dots$ $\kappa(x, y) := \lim_{n \to \infty} \kappa_n(x, y)$ $x, y$ $\kappa$

증명 : 각 및 모든 우리는 . 로 제한을 취하면 와 동일한 속성이 부여 됩니다. $m, n \ge 1$ $\{ (x_i, c_i) \}_{i=1}^m \subseteq \mathcal{X} \times \mathbb R$ $\sum_{i=1}^m c_i \kappa_n(x_i, x_j) c_j \ge 0$ $n \to \infty$ $\kappa$
제품 : 경우 및 PD 커널이다, 그래서이고 . $\kappa_1$ $\kappa_2$ $g(x, y) = \kappa_1(x, y) \, \kappa_2(x, y)$

증명 : 이것은 Schur 제품 정리 에서 즉시 따르지만 Schölkopf와 Smola (2002)는 다음과 같은 훌륭한 기본 증거를 제공합니다. 하자 는 독립적입니다. 따라서 공분산 행렬은 psd 여야하므로 의 공분산 행렬이 이를 증명한다는 사실을 증명합니다.
$(V_{1}, \dots, V_{m}) \sim N (0, {[κ_{1} (x_{i}, x_{j})]}_{i j}) (W_{1}, \dots, W_{m}) \sim N (0, {[κ_{2} (x_{i}, x_{j})]}_{i j})$ $(V_1, \dots, V_m) \sim \mathcal{N}\left( 0, \left[ \kappa_1(x_i, x_j) \right]_{ij} \right) \\ (W_1, \dots, W_m) \sim \mathcal{N}\left( 0, \left[ \kappa_2(x_i, x_j) \right]_{ij} \right)$ $C o v (V_{i} W_{i}, V_{j} W_{j}) = C o v (V_{i}, V_{j}) C o v (W_{i}, W_{j}) = κ_{1} (x_{i}, x_{j}) κ_{2} (x_{i}, x_{j}) .$ $\mathrm{Cov}(V_i W_i, V_j W_j) = \mathrm{Cov}(V_i, V_j) \,\mathrm{Cov}(W_i, W_j) = \kappa_1(x_i, x_j) \kappa_2(x_i, x_j).$ $(V_1 W_1, \dots, V_n W_n)$
파워 : 만약 되는 PD 커널 그렇다 양의 정수 . $\kappa$ $\kappa^n(x, y) := \kappa(x, y)^n$ $n$

증명 : "제품"속성에서 즉시.
지수 : 만약 되는 PD 커널 그렇다 . $\kappa$ $e^\kappa(x, y) := \exp(\kappa(x, y))$

증명 : ; "powers", "scalings", "sums"및 "limits"속성을 사용하십시오. $e^\kappa(x, y) = \lim_{N \to \infty} \sum_{n=0}^N \frac{1}{n!} \kappa(x, y)^n$
함수 : 만약 되는 PD 커널 , 물론이다. $\kappa$ $f : \mathcal X \to \mathbb R$ $g(x, y) := f(x) \kappa(x, y) f(y)$

증명 : 기능 맵 . $x \mapsto f(x) \varphi(x)$

이제 선형 커널로 시작 , 로 "크기 조정"적용, "지수"적용 및 "함수"적용 .

\begin{aligned} k (x, y) & = \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}) \\ = \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2}) \exp (\frac{1}{σ^{2}} x^{T} y) \exp (- \frac{1}{2 σ^{2}} ‖ y ‖^{2}) . \end{aligned}

$\begin{align*} k(x, y) &= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right) \\&= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right) \exp\left( \tfrac{1}{\sigma^2} x^T y \right) \exp\left( - \tfrac{1}{2 \sigma^2} \lVert y \rVert^2 \right) .\end{align*}$

κ (x, y) = x^{T} y

$\kappa(x, y) = x^T y$

\frac{1}{σ^{2}}

$\frac{1}{\sigma^2}$

x \mapsto \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2})

$x \mapsto \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right)$

— 더갈
소스

22

방법 1을 사용하겠습니다. 방법 2를 사용한 증명에 대해서는 Douglas Zare의 답변을 확인하십시오.

가 실수 인 경우를 증명할 것이므로 입니다. 일반적인 경우 는 동일한 주장에서 돌연변이 를 따르며 수행 할 가치가 있습니다. $x,y$ $k(x,y)=\exp(-(x-y)^2/2\sigma^2)$

일반성을 잃지 않고 이라고 가정하십시오 . $\sigma^2=1$

쓰십시오 . 여기서 랜덤 변수의 특성 함수 와 분포. $k(x,y)=h(x-y)$

h (t) = \exp (- \frac{t^{2}}{2}) = E [e^{i t Z}]

$h(t)=\exp\left(-\frac{t^2}{2}\right)=\mathrm{E}\left[e^{itZ}\right]$

Z

$Z$

N (0, 1)

$N(0,1)$

실수 및 경우 그 수반되는 양의 함수 semidefinite 일명 커널이다. $x_1,\dots,x_n$ $a_1,\dots,a_n$

\sum_{j, k = 1}^{n} a_{j} a_{k} h (x_{j} - x_{k}) = \sum_{j, k = 1}^{n} a_{j} a_{k} E [e^{i (x_{j} - x_{k}) Z}] = E [\sum_{j, k = 1}^{n} a_{j} e^{i x_{j} Z} a_{k} e^{- i x_{k} Z}] = E [{| \sum_{j = 1}^{n} a_{j} e^{i x_{j} Z} |}^{2}] \geq 0,

$\sum_{j,k=1}^n a_j\,a_k\,h(x_j-x_k) = \sum_{j,k=1}^n a_j\,a_k\,\mathrm{E} \left[ e^{i(x_j-x_k)Z}\right] = \mathrm{E} \left[ \sum_{j,k=1}^n a_j\,e^{i x_j Z}\,a_k\,e^{-i x_k Z}\right] = \mathrm{E}\left[ \left| \sum_{j=1}^n a_j\,e^{i x_j Z}\right|^2\right] \geq 0 \, ,$

k

$k$

이 결과를보다 일반적으로 이해하려면 Bochner Theorem ( http://en.wikipedia.org/wiki/Positive-definite_function)을 확인하십시오 .

— 선
소스

2

이 두 가지주의하여 오른쪽 방향으로, 좋은 시작이다 : (a) (지수의 부호를 확인) 도시 기대 같지 않은 케이스 여기서주의를 제한하는 (b)이 나타날 와 는 스칼라이며 벡터가 아닙니다. 그 동안 박람회는 훌륭하고 깨끗했기 때문에 이러한 격차를 빨리 막을 것이라고 확신합니다. :-)

h (t)

$h(t)$

x

$x$

y

$y$

— 추기경

1

Tks! 나는 서두르고 있습니다. :-)

— Zen

1

실례합니다, 여기서 어떻게 돌연변이를 관리하는지 모르겠습니다. 형식으로 전달하기 전에 표준을 개발하면 제품이 생겨 제품과 합계를 교환 할 수 없습니다. 그리고 나는 단순히 h 형식으로 전달한 후 좋은 표현을 얻기 위해 표준을 개발하는 방법을 보지 못합니다. 당신은 저를 조금 이끌 수 있습니까? :)

h

$h$

— Alburkerk