두 가우스 프로세스를 어떻게 비교합니까?

Kullback-Leibler 분기 는 두 개의 확률 밀도 함수를 비교하는 메트릭이지만 두 GP의 $X$ 와 를 비교하는 데 사용되는 메트릭은 무엇 $Y$ 입니까?

gaussian-process metric

— 푸쉬카르
소스

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

@ 젠 : 시간이 있다면이 거리 측정법에 대해 더 알고 싶습니다.

— Neil G

안녕, 닐 나는 그것에 대해 많이 모른다. 제 대답은 다음과 같습니다.

— Zen

답변:

가우시안 프로세스 의 분포는 $\mathcal{X}\to\mathbb{R}$ 아마도 무한 대한 다변량 가우시안의 확장이라는 점에 주목하십시오 $\mathcal{X}$ . 따라서 에 통합하여 GP 확률 분포간에 KL 분기를 사용할 수 있습니다 $\mathbb{R}^\mathcal{X}$ .

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

MC 방법을 사용 하여 GP 분포에 따라 프로세스를 반복적으로 샘플링 하여 불연속 $\mathcal{X}$ 에 대해이 수치를 대략적으로 계산할 수 있습니다 . 수렴 속도가 충분히 좋은지 모르겠습니다 ...

비고 경우 그 $\mathcal{X}$ 와 유한 $|\mathcal{X}|=n$ 이면 다변량 정규 분포에 대한 일반적인 KL 분기로 돌아갑니다.

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— 에밀
소스

언급 한 두 가지 평균 (mu1 및 mu2)을 어떻게 계산할 수 있습니까? 아니면 가우스 프로세스에서 평소와 같이 0으로 가져 가야합니까?

— Marat Zakirov

기억 그 경우 평균 함수 가우스 과정 및 공분산 함수 , 그리고, 모든 대 , 랜덤 벡터 평균 벡터 을 갖는 다변량 정규 분포를 $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ 와 공분산 매트릭스 우리 공통 약어를 사용하고, $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ . $X(t)=X(t,\,\cdot\,)$

각 실현 는 도메인이 인덱스 세트 인 실제 함수입니다. 이라고 가정하자. 두 개의 가우스 프로세스 와 주어지면 두실현 사이의 공통 거리 $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ 및 $X(\,\cdot\,,\omega)$ 이다. 따라서 두 프로세스 와 사이의 거리를 로 정의하는 것이 자연스러워 보입니다. $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$ 이 거리에 대한 분석 표현이 있다면 모르겠지만, 나는 다음과 같이 몬테 카를로의 근사값을 계산할 수 있다고 생각합니다. 교묘 그리드 수정 , 샘플 그릴 및 정상 랜덤 벡터로부터

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

및

각각

입니다. 대략

에 의해

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— 선
소스

각 벡터에서 어떻게 샘플링합니까? 각 GP의 평균 만 샘플링하는 경우 차이를 고려하지 않습니다. 그렇지 않으면 일관된 샘플링 기술을 고안해야합니다.

— pushkar

이것은 훌륭한 자료입니다 : gaussianprocess.org/gpml/chapters

— Zen

이 질문에 대한 모든 답변을 읽을 수도 있습니다 : stats.stackexchange.com/questions/30652/…

— Zen

거리가 멀지 않으므로주의하십시오

d (X, X) \neq 0

$d(X,X) \neq 0$ . As the KL compares two distributions and not two realisations, Zen's distance between two GPs should be defined as

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$ , and we have that

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$ for non degenerated Gaussian process

G

$G$ .

— Emile

@Emile: how is it that

d (X, X) \neq 0

$d(X,X)\neq 0$ using definition

(*)

$(*)$ ?

— Zen