다변량 가우스의 공분산 사후 분포 추정

15

샘플이 거의없는 이변 량 가우스 분포를 "학습"해야하지만 이전 분포에 대한 가설이 좋으므로 베이지안 접근법을 사용하고 싶습니다.

이전을 정의했습니다 :

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

그리고 내 분포는

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

지금은 덕분에 알고 여기에 데이터 주어진 평균을 추정하는 것을

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

나는 계산할 수 있습니다 :

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

이제 내가 틀렸을지도 모르지만 $\mathbf{\Sigma_n}$ 은 추정 된 매개 변수 대한 공분산 행렬 $\mathbf{\mu_n}$ 이며 내 데이터의 추정 된 공분산이 아니라고 생각됩니다. 내가 계산하고 싶은 것은

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

내 데이터에서 완전히 지정된 분포를 배우기 위해.

이게 가능해? 을 계산하여 이미 해결되었으며 위의 공식과 다른 방식으로 표현 되었습니까 (또는 간단히 잘못 해석하고 있습니까)? 참고로 감사하겠습니다. 고마워 $\mathbf{\Sigma_n}$

편집하다

의견에서, 나는 의해 정의 된 일정한 공분산을 가정한다는 의미에서 내 접근 방식이 "잘못된"것으로 나타났다 . 내가 필요한 것은 에도 사전을 두는 것이지만, 어떤 배포를 사용해야하는지 모르겠으며, 이후 업데이트 절차는 무엇인지 모르겠습니다. $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— Unziberla
소스

데이터의 공분산을 지정했으며 업데이트 할 이전 배포를 지정하지 않았습니다. 에서?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone

너의 의도를 알 겠어. 내 접근 방식으로 기본적으로 분산이 일정하고 지정되었다고 가정했습니다. 추정하고 싶다면 사전에 필요합니다. 이제 내 문제는 명확하지 않은 방법입니다 그것을 정의하고 그것에 대한 적절한 분포는 무엇입니까? 그러나 이것은 첫 번째 질문의 범위를 벗어난 것으로 보입니다.

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla

그런 다음 질문을 변경하십시오 :-)

— Corone

11

평균을 업데이트 한 것과 거의 같은 방식으로 공분산 구조에 대한 베이지안 업데이트를 수행 할 수 있습니다. 다변량 법선의 공분산 행렬에 대한 켤레는 Inverse-Wishart 분포이므로 여기서 시작하는 것이 좋습니다.

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

그런 다음 당신은 당신의 샘플을 얻을 때 의 길이를 당신은 샘플 공분산 추정 계산할 수 $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

공분산 행렬의 추정값을 업데이트하는 데 사용할 수 있습니다

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

이 평균을 공분산에 대한 포인트 추정값으로 사용하도록 선택할 수 있습니다 (Posterior Mean Estimator)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

또는 모드 (Maximum A Posteriori Estimator)를 사용하도록 선택할 수 있습니다

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— 코 로네
소스

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

7

좋아, 내 문제에 대한 진정한 해결책을 찾았습니다. 내 (잘못 배치 된) 질문에 대한 정답이 선택된 질문이라도 게시하고 있습니다.

기본적으로 내 질문은 공분산을 알고 평균을 추정하는 방법과 평균을 알고 공분산을 추정하는 방법을 설명합니다. 그러나 내 실제 문제는 두 매개 변수를 모두 알 수없는 것으로 추정되었습니다.

나는 여기에 설명 된 파생물과 함께 Wikipedia에 대한 답을 찾았다 . 다변량 법선의 이전에 공액 된 것은 다변량 법선에 대한 분포 인 법선-역-위시 아트입니다.

$\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

$n$ $p$

피 (μ, Σ | 엑스) \sim 엔 나는 여 (\frac{κ_{0} μ_{0} + 엔 \bar{엑스}}{κ_{0} + 엔}, κ_{0} + 엔, ν_{0} + 엔, Ψ + 씨 + \frac{κ_{0} 엔}{κ_{0} + 엔} (\bar{엑스} - μ_{0}) (\bar{엑스} - μ_{0})^{티})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

어디

\bar{엑스} = \frac{1}{엔} \sum_{나는 = 0}^{엔} {엑스}_{나는}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

씨 = \sum_{나는 = 1}^{엔} ({엑스}_{나는} - \bar{엑스}) ({엑스}_{나는} - \bar{엑스})^{티}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

그래서 내가 원하는 추정 매개 변수는

이자형 (μ | 엑스) = \frac{κ_{0} μ_{0} + 엔 \bar{엑스}}{κ_{0} + 엔}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— Unziberla
소스