논문에서 가우스 프로세스 회귀 방정식의 도출에 대한 의심

나는 이 논문 프리 프린트를 읽고 있으며 가우시안 프로세스 회귀에 대한 방정식의 도출에 어려움을 겪고있다. 그들은 Rasmussen & Williams 의 설정 및 표기법을 사용합니다 . 따라서 가산 성, 제로 평균, 고정 및 정규 분포 노이즈 $\sigma^2_{noise}$ 가정 :

y = f (x) + ϵ, ϵ \sim N (0, σ_{n o i s e}^{2})

$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$

평균이 0 인 GP는 $f(\mathbf{x})$ , 의미하는 것은 $\forall \ d\in N$ , $\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$ 평균 0과 공분산 행렬을 가진 가우스 벡터입니다.

Σ_{d} = (\begin{matrix} k (x_{1}, x_{1}) & k (x_{1}, x_{d}) \\ ⋱ \\ k (x_{d}, x_{1}) & k (x_{d}, x_{d}) \end{matrix})

$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$

이제부터는 하이퍼 파라미터가 알려져 있다고 가정합니다. 그러면 논문의 식 (4)가 분명합니다.

p (f, f^{*}) = N (0, (\begin{matrix} K_{f, f} & K_{f^{*}, f} \\ K_{f^{*}, f} & K_{f^{*}, f^{*}} \end{matrix}))

$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$

여기에 의심이 온다 :

식 (5) :

$p (y | f) = N (f, σ_{n o i s e}^{2} I)$ $p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$
$E[\mathbf{f}]=0$ 그러나 나는 추측한다 $E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$ 내가 조건을 할 때 $\mathbf{f}$ 그런 다음 여기서 는 상수 벡터이며 만 임의입니다. 옳은? $\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$ $\mathbf{c}$ $\boldsymbol{\epsilon}$
어쨌든, 그것은 식 (6)입니다.

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f)}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$
그것은 베이 즈 정리의 일반적인 형태가 아닙니다. 베이 즈 정리는

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f, f^{*})}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$
두 방정식이 같은 이유를 이해합니다. 직관적으로 응답 벡터 는 대응하는 잠복 벡터 에만 의존 하므로 또는 는 같은 분포를 가져야합니다. 그러나 이것은 직관이지 증거가 아닙니다! 왜 그런지 보여줄 수 있습니까? $\mathbf{y}$ $\mathbf{f}$ $\mathbf{f}$ $(\mathbf{f},\mathbf{f^*})$

$p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$

regression bayesian gaussian-process

— 델타 IV
소스

고치면 모든 불확실성 은 노이즈에서 비롯됩니다. 따라서이 기사에서 식 (5)에 대해 우리는 가 주어 졌을 때 각 점에서 분산 이고 평균 0 인 독립 노이즈 집니다. 초기 평균을 더하고 답을 얻습니다. $\mathbf{f}$ $\mathbf{y}$ $\mathbf{f}$ $\sigma_{noise}^2$ $0$
제안 된 평등을 증명하는 한 가지 방법 의 분포를 찾을 수 있습니다 품질의 왼쪽과 오른쪽에 있습니다. 둘 다 가우시안입니다. 왼쪽에는 이미 답이 있습니다. 오른쪽도 비슷한 방식으로 진행됩니다. 대한 조건부 분포를 찾으십시오 . 첫 번째 부분의 결과에서 알 수 있습니다 : 확률 규칙을 사용하여 쉽게 알아 통합하는 행 $p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$ $(\mathbf{y}, \mathbf{y}^*)$ $p (y, y^{*} | f, f^{*}) = N ((f, f^{*}), σ_{n o i s e}^{2} I) .$ $p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$ $\mathbf{y}^*$ $(\mathbf{y}, \mathbf{y}^*)$ 공분산 행렬이 대각선이므로 벡터 및 는 독립적입니다. 이렇게하면 $\mathbf{y}$ $\mathbf{y}^*$ $p (y | f, f^{*}) = N (f, σ_{n o i s e}^{2} I) = p (y | f) .$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$

— 알렉세이 자이체프
소스