공변량으로 다변량 법선을 사용한 베이지안 모델링

설명 변수 있고 여기서 는 주어진 좌표를 나타냅니다. 응답 변수 있습니다. 이제 두 변수를 다음과 같이 결합 할 수 있습니다. ${\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)$ $s$ ${\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right)$

W (s) = (\begin{array}{ccc} X (s) \\ Y (s) \end{array}) \sim N (μ (s), T)

${\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T)$

이 경우 간단히 $\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}$ 를 선택하면 $T$ 는 공분산 행렬입니다. $X$ 와 관계 $Y$ . 이것은 단지의 가치에 대해 설명 $X$ 와 $Y$ 에 $s$ . $X$ 와 다른 위치에서 더 많은 점이 있으므로 다음과 같은 방법으로 $Y$ 더 많은 값을 설명 할 수 있습니다 ${\bf{W}}(s)$ .

(\begin{array}{ccc} X \\ Y \end{array}) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

$\bf{X}$ 및 의 구성 요소를 다시 정렬하여 열에 $\bf{Y}$ 모든 $X(s_i)$ 를 다음 모든 연결합니다 $Y(s_i)$ . 각 성분 $H(\phi)_{ij}$ 는 상관 함수 $\rho(s_i, s_j)$ 이고 $T$ 는 위와 같습니다. 공분산 갖는 이유는 $T\otimes H(\phi)$ 공분산 행렬을 로 분리 할 수 있다고 가정하기 때문 $C(s, s')=\rho(s, s') T$ 입니다.

질문 1 : 조건부 계산할 때 ${\bf{Y}}\mid{\bf{X}}$ 실제로하고있는 것은 에 따라 값 집합을 생성하는 것입니다 맞습니까? 이미 있으므로 새로운 점 을 예측하는 데 더 관심이 있습니다 . 이 경우 행렬 다음과 같이 정의해야합니다. $\bf{Y}$ $\bf{X}$ $\bf{Y}$ $y(s_{0})$ $H^{*}(\phi)$

H^{*} (ϕ) = (\begin{array}{ccc} H (ϕ) & h \\ h & ρ (0, ϕ) \end{array})

$H^{*}(\phi) = \left(\begin{array}{ccc}H(\phi) & \boldsymbol{h} \\ \boldsymbol{h}& \rho(0,\phi) \end{array}\right)$

여기서 $\boldsymbol{h}(\phi)$ 은 벡터 $\rho(s_{0} - s_{j};\phi)$ 입니다. 따라서 우리는 재배치없이 벡터를 구성 할 수 있습니다.

W^{*} = {(W (s_{1}), \dots, W (s_{n}), W (s_{0}))}^{T} \sim N (\begin{array}{ccc} 1_{n + 1} \otimes (\begin{array}{ccc} μ_{1} \\ μ_{2} \end{array}) \end{array}, H (ϕ)^{*} \otimes T)

${\bf{W^{*}}} = \left({\bf{W}}(s_{1}), \ldots, {\bf{W}}(s_{n}), {\bf{W}}(s_{0})\right)^{T} \sim N\left(\begin{array}{ccc}\boldsymbol{1}_{n+1} \otimes \left( \begin{array}{ccc} \mu_{1} \\ \mu_{2} \end{array} \right)\end{array}, H(\phi)^{*}\otimes T\right)$

이제 공동 분포를 얻도록 재 배열합니다. 하고 조건부 얻습니다 . $\left(\begin{array}{ccc} {\bf{X}} \\ x(s_0) \\{\bf{Y}} \\ y(s_0)\end{array} \right)$ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$

이 올바른지?

질문 2 : 예측을 위해 내가 읽고있는 논문은이 조건부 분포 를 사용하고 사후를 구해야 함을 나타냅니다. 분포 이지만 모수의 사후 분포를 얻는 방법을 잘 모르겠습니다. 어쩌면 내가 분포 사용할 수 있습니다 내가 생각 와 정확히 동일하며 Bayes 정리를 사용하여 $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$ $p(\mu, T, \phi\mid x(s_0), {\bf{Y}}, {\bf{X}})$ $\left(\begin{array}{ccc}{\bf{X}} \\ x(s_0)\\ {\bf{Y}}\end{array}\right)$ $p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)$ $p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}}) \propto p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)p(\mu, T, \phi)$

질문 3 : 하위 장 끝에서 저자는 다음과 같이 말합니다.

예측을 위해 . 이것은 잠재적 변수로 취급되어 통합 될 수 있으므로 새로운 문제를 일으키지 않습니다. 이것은 각각의 Gibbs 반복 내에서 추가 추첨을 야기하며 계산 작업에 사소한 추가입니다. ${\bf{X}}(s_0)$ $\bf{x}'$

그 단락은 무엇을 의미합니까?

그런데이 절차는 이 백서 (8 페이지) 에서 찾을 수 있지만보다시피 좀 더 자세하게 설명해야합니다.

감사!

— 로버트 스미스
소스

OP 요청별로 마이그레이션하기로 결정했습니다 .

나는 말을 올바른 질문 1과 관측 있음 2. 질문 3 개 수단의 답에 모두 의 상단에 추가 매개 변수로 취급 전체 조건부 사용 에 종래와 같은 .

X (s_{0})

$X(s_0)$

μ, T, ϕ

$\mu,T,\phi$

p (x (s_{0}) ∣ X,, Y, μ, T, ϕ)

$p(x(s_0)\mid{\bf{X}}, , {\bf{Y}},\mu, T, \phi)$

X (s_{0})

$X(s_0)$

— Xi'an

질문 1 : 관절 확률 모델 조건부 분포 의 가 주어진 도 정상이며, 평균 및 분산 공분산 행렬

(\begin{array}{ccc} X \\ Y \end{array}) \sim N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) \sim N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), \begin{bmatrix} \boldsymbol\Sigma_{11} & \boldsymbol\Sigma_{12} \\ \boldsymbol\Sigma_{21} & \boldsymbol\Sigma_{22} \end{bmatrix} \right)=N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Y

$\bf{Y}$

X

$\bf{X}$

μ_{2} + Σ_{21} Σ_{11}^{- 1} (X - μ_{1})

$\boldsymbol\mu_2 + \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \left( \mathbf{X} - \boldsymbol\mu_1\right)$

Σ_{22} - Σ_{21} Σ_{11}^{- 1} Σ_{21} .

$\boldsymbol\Sigma_{22} - \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \boldsymbol\Sigma_{21}.$ (그 수식에서 그대로 복사됩니다 다변량 법선에 대한 위키 백과 페이지 .) 같은가 적용 부터 는 또 다른 법선 벡터입니다.

p (y (s_{0}) ∣ x (s_{0}), X, Y)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

(y (s_{0}), x (s_{0}), X, Y)

$(y(s_0), x(s_0), {\bf{X}}, {\bf{Y}})$

질문 2 : 예측 는 즉 현재 데이터 따라 사후 구배를 사용하여 매개 변수를 통합함으로써 . 따라서 정답에는 조금 더 있습니다. 예측만으로 시뮬레이션해야하는 경우 다음에서 유효하다. $p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

p (y (s_{0}) | x (s_{0}), X, Y) = \int p (y (s_{0}) | x (s_{0}), X, Y, μ, T, ϕ) p (μ, T, ϕ | x (s_{0}), X, Y) d μ d T d ϕ,

$p(y(s_0) | x(s_0), {\bf{X}}, {\bf{Y}})=\int p(y(s_0)| x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi| x(s_0), {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,,$

(X, Y, x (s_{0}))

$({\bf{X}}, {\bf{Y}},x(s_0))$

p (μ, T, ϕ ∣ X, x (s_{0}), Y)

$p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}})$

p (y (s_{0}) ∣ x (s_{0}), X, Y, μ, T, ϕ)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)$

질문 3 : 그 경우 관찰되지 않고, 상기 한 쌍 다른 예측으로부터 예측 될 수 $x(s_0)$ $(x(s_0),y(s_0))$

p (x (s_{0}), y (s_{0}) ∣ X, Y) = \int p (x (s_{0}), y (s_{0}) ∣ X, Y, μ, T, ϕ) p (μ, T, ϕ ∣ X, Y) d μ d T d ϕ .

$p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}})=\int p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi\mid {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,.$

이 예측에서 시뮬레이션 할 때 관리 가능한 형식으로 사용할 수 없기 때문에 반복적으로 시뮬레이션 하는 Gibbs 샘플러 를 실행할 수 있습니다.

$\mu\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\phi$
$T\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),\mu,\phi$
$\phi\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\mu$
$x(s_0)\mid {\bf{X}}, {\bf{Y}},y(s_0),\phi,T,\mu$
$y(s_0)\mid {\bf{X}}, {\bf{Y}},x(s_0),\phi,T,\mu$

또는 4 단계와 5 단계를 단일 단계로 병합

$x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\phi,T,\mu$

— 시안
소스