가우스 프로세스 : 함수 근사 속성

Gaussian Process에 대해 배우고 있으며 조금만 들었습니다. 의견과 답변에 감사드립니다.

모든 데이터 세트에 대해 가우스 프로세스 함수 근사가 데이터 포인트에서 0 또는 무시할 수있는 피팅 오류를 발생시키는 것이 사실입니까? 다른 곳에서는 가우시안 프로세스가 노이즈 데이터에 특히 좋다고 들었습니다. 이것은 관찰 된 데이터의 낮은 피팅 오류와 충돌하는 것 같습니다.

또한 데이터 포인트에서 멀어 질수록 불확실성이 더 커집니다 (더 큰 공분산). 그렇다면 로컬 모델 (RBF 등)처럼 작동합니까?

마지막으로 보편적 근사 속성이 있습니까?

gaussian-process

— 오 알라
소스

$D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$ 및 분산을

V (x) = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$ Vector

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$ is a vector of covariances, matrix

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$ is a matrix of sample covariances. In case we make prediction using mean value of posterior distribution for sample interpolation property holds. Really,

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$ But, it isn't the case if we use regularization i.e. incorporate white noise term. in this case covariance matrix for sample has form

K + σ I

$K + \sigma I$ , but for covariances with real function values we have covariance matrix

K

$K$ , and posterior mean is

m (X) = K (K + σ I)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$ In addition, regularization makes problem more computationally stable.

Choosing noise variance $\sigma$ we can select if we want interpolation ( $\sigma = 0$ ) or we want to handle noisy observations ( $\sigma$ is big).

Also, the Gaussian processes regression is local method because variance of predictions grows with distance to learning sample, but we can select appropriate covariance function $k$ and handle more complex problems, than with RBF. Another nice property is small number of parameters. Usually it equals $O(n)$ , where $n$ is data dimension.

— Alexey Zaytsev
소스