가우스 커널의 기능 맵

24

SVM에서 가우스 커널은 다음과 같이 정의됩니다. 여기서 입니다. 의 명시 적 방정식을 모른다 . 알고 싶습니다.

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

또한

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ 여기서

인지 알고 싶습니다

c_{i} \in R

$c_i\in \mathbb R$ . 커널을 사용하면 선형 클래스가 작동하지 않는 상황을 처리하기 때문에 같지 않다고 생각합니다. 나는

ϕ

$\phi$ x를 무한한 공간에 투영한다는 것을 알고 있습니다. 따라서 치수가 몇 개이든 관계없이 여전히 선형으로 유지된다면 svm은 여전히 좋은 분류를 할 수 없습니다.

machine-learning svm kernel-trick

— 비비안
소스

이 커널은 왜 변환을 의미합니까? 또는 연관된 피처 공간을 참조하고 있습니까?

— Placidia

예, 특징 공간은 무엇인가

ϕ (\cdot)

$\phi(\cdot)$ 그래서

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

의 Tailor series 확장을 통해 가우스 커널에 대한 명시적인 방정식을 얻을 수 있습니다 . 표기법의 단순화를 위해 . $\phi$ $e^x$ $x\in \mathbb{R}^1$

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

이것은 또한 NTU의 Chih-Jen Lin (슬라이드 11)에 의해이 슬라이드 에서 더 자세히 논의됩니다 . 슬라이드에서 $\gamma=\frac{1}{2\sigma^2}$ 가 커널 매개 변수로 사용됩니다.

OP의 방정식은 선형 커널에만 적용됩니다.

— 마크 클라 센
소스

2

안녕, 그러나 위의 방정식은 한 차원에만 적합합니다.

— Vivian

자, 여기서 재생 커널 힐버트 공간은 의 하위 공간입니다 . 맞습니까?

ℓ^{2}

$\ell^2$

— The_Anomaly

Laplacian 커널에 대한 명시적인 표현이 있습니까?

— Felix Crazzolara

13

유효한 psd 커널 에는 와 같은 기능 맵 입니다. 공간 와 포함 는 실제로 고유 할 필요는 없지만 재생 커널 힐버트 공간 (RKHS)으로 알려진 중요한 고유 쌍 있습니다. $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

RKHS는 Steinwart, Hush and Scovel, 가우스 RBF 커널의 재현 커널 힐버트 공간에 대한 명시 적 설명 , IEEE 정보 이론에 관한 트랜잭션 2006 ( doi , free citeseer pdf )에 의해 논의 됩니다.

다소 복잡하지만 다음과 같이 요약됩니다. 를 $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

하자 모두에 이르기까지 연속 수 음수가 아닌 정수로 -tuples; 인 경우 , 아마도 , , 등입니다. 번째 튜플 의 번째 구성 요소를 나타냅니다 . $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

그런 다음 의 번째 구성 요소 는 입니다. 따라서 는 벡터를 무한 차원 복소수 벡터에 매핑 합니다. $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

이를 위해 우리는 이러한 무한 차원 복소 벡터에 대한 규범을 특별한 방식으로 정의해야합니다. 자세한 내용은 논문을 참조하십시오.

Steinwart et al. 또한 에서 사각형 통합 함수의 Hilbert 공간 인 에 더 간단하게 (내 생각에) 임베드합니다 : 참고 그 자체에서 함수 에 . 기본적으로 평균 와 공분산 을 갖는 차원 가우스 밀도입니다. ; 정규화 상수 만 다릅니다. 따라서 우리가 걸릴 때 $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ 우리는 Gaussian 밀도 함수 의 곱을 취하고 있는데, 그 자체는 일정한 상수 곱하기 Gaussian 밀도 함수입니다. 적분을 수행하면 빠지는 상수는 정확히 입니다.

t

$t$

k (x, y)

$k(x, y)$

이것 만이 작동하는 것은 아닙니다.

또 다른 하나는 푸리에 변환 (Fourier Transform)을 기반으로하며 , 유명한 Rahimi and Recht ( 대규모 커널 머신의 랜덤 기능 , NIPS 2007) 논문 은 큰 효과를 거두었습니다.

또한 테일러 시리즈를 사용하여 수행 할 수 있습니다 : 효과적으로 Cotter, Keshet 및 Srebro의 무한 버전 , 가우스 커널의 명시 적 근사 , arXiv : 1109.4603 .

— 더갈
소스

1

더글러스 Zare는 흥미로운 스레드에서 내장은 "더 간단"의 1D 버전 준 여기를 .

— Dougal

여기서는 가 무한한 훈련 샘플의 경우에도 훈련 샘플의 크기와 동일한 차원의 스페 이브에 매핑 될 수 있다는보다 '직관적 인'설명을 찾을 수 있습니다. stats.stackexchange.com/questions/80398/…

Φ

$\Phi$

6

가 선형 매핑 인 경우에만 두 번째 방정식이 참처럼 보입니다 (따라서 는 선형 커널입니다). 가우시안 커널은 비선형이므로, 평등은 유지되지 않습니다 (아마도 가 0이 되는 한계를 제외하고 ). $\phi$ $K$ $\sigma$

— 디크 란 유대류
소스

답변 주셔서 감사합니다. 때 , 가우시안 커널 프로젝트의 크기가 증가 할 것입니다. 그리고 당신의 영감에 의해, 나는 그것이 같지 않다고 생각합니다. 커널을 사용하면 선형 분류가 작동하지 않는 상황을 처리하기 때문입니다.

σ \to 0

$\sigma\rightarrow 0$

— Vivian