무한 차원 기반 함수 뷰를 통한 가우시안 프로세스 회귀 이해

가우시안 프로세스 회귀는 (GPR)이 무한한 양의 기본 함수를 가진 베이지안 선형 회귀에 해당한다고 종종 말합니다. 나는 현재 GPR을 사용하여 표현할 수있는 모델의 종류에 대한 직감을 얻기 위해 이것을 자세히 이해하려고 노력하고 있습니다.

이것이 GPR을 이해하기위한 좋은 접근법이라고 생각하십니까?

책의 기계 학습 가우시안 프로세스 스무 윌리엄스 쇼 가우시안 프로세스들의 세트는 상기 파라미터 된 지수 제곱 커널 기재된 등가 종래 믿음 베이지안 회귀 같이 표현가중치에 폼의 베이시스 함수의 무한한 양

케이 (엑스, {엑스}^{'}; 엘) = σ_{피}^{2} 특급 (- \frac{(엑스 - 엑스)^{2}}{2 엘^{2}})

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

따라서, 커널 파라미터 설정에 의해 완전히 기저 함수의 파라미터 설정으로 변환 할 수있다.

ϕ_{씨} (엑스; 엘) = 특급 (- \frac{(엑스 - 씨)^{2}}{2 엘^{2}})

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

차별화 가능한 커널의 매개 변수화가 항상 이전 및 기본 기능의 매개 변수화로 변환 될 수 있습니까? 예를 들어 기본 기능의 수가 구성에 따라 달라지는 차별화 가능한 커널이 있습니까?

$k(x,x')$

케이 (엑스, {엑스}^{'}) = \sum_{나는 = 1}^{\infty} λ_{나는} ϕ_{나는} (엑스) ϕ_{나는} ({엑스}^{'})

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$

다음 질문은 머서 정리의 역수에 관한 것입니다.

어떤 기본 함수 집합이 유효한 커널로 연결됩니까?

그리고 확장

어떤 파라미터 화 된 기본 함수 세트가 유효한 차별화 가능한 커널로 연결됩니까?

gaussian-process kernel-trick basis-function

— 줄리안 칼스
소스

몇 가지 언급이 있습니다. 다른 사람이 세부 정보를 채울 수 있습니다.

1) 기초 표현은 항상 좋은 생각입니다. 공분산 함수를 사용하여 실제로 계산을 수행하려는 경우 피하기 어렵습니다. 기본 확장은 커널에 대한 근사치와 함께 사용할 수있는 작업을 제공합니다. 희망은 해결하려는 문제에 적합한 근거를 찾을 수 있다는 것입니다.

$\theta$ $\theta$

일반적으로 기본 함수의 수는 (수적으로) 무한하므로 일부 값으로 인해 커널이 퇴화되지 않는 한 매개 변수에 따라 숫자가 달라지지 않습니다.

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

$\lambda_i$ $\lambda_i$ $x$

기저 함수가 직교가 아닌 경우, 함수에서 정의 된 공분산이 양의 유한함을 나타내는 것이 더 어려울 것입니다. 분명히,이 경우 고유 확장을 다루지 않고 관심있는 기능을 근사화하는 다른 방법을 사용하는 것입니다.

그러나 사람들은 일반적으로 많은 함수에서 시작하여 공분산 커널을 만들려고 생각하지 않습니다.

RE : 커널의 차별화와 기본 기능의 차별화. 나는 실제로이 질문에 대한 답을 모르지만 다음과 같은 관찰을 제공 할 것입니다.

기능 분석은 유한 한 단순한 함수의 합으로 (무한 차원 공간에서) 함수를 근사화하여 진행됩니다. 이 작업을 수행하려면 모든 것이 수렴 유형에 따라 다릅니다. 일반적으로 관심있는 기능에 대해 강력한 수렴 속성 (균일 한 수렴 또는 절대 합산 성)이있는 컴팩트 세트를 작업하는 경우 원하는 직관적 인 결과를 얻을 수 있습니다. 간단한 함수의 속성은 제한 기능-예를 들어 커널이 매개 변수의 구별 가능한 기능인 경우 확장 기능은 동일한 매개 변수의 구분 가능한 기능이어야하며 그 반대도 마찬가지입니다. 더 약한 수렴 속성 또는 비 소규모 도메인에서는 이러한 현상이 발생하지 않습니다. 내 경험상, 모든 "합리적인"아이디어에 대한 반례가있다.

참고 :이 질문의 독자들로부터 가능한 혼란을 피하기 위해 점 1의 가우스 확장은 점 2의 고유 확장의 예가 아닙니다.

— 플라시 디아
소스