분석 형태를 가질만큼 단순 할 때 사후 분포를 알아내는 단계는?

이것은 또한 전산 과학에서 요청 되었습니다.

11 개의 데이터 샘플을 사용하여 자동 회귀에 대한 일부 계수의 베이지안 추정치를 계산하려고합니다 여기서 는 평균이 0이고 분산이 가우시안입니다 . 벡터에 대한 사전 분포 는 평균이 가우시안이고 평균이 인 대각선 공분산 행렬입니다. 대각선 항목은 .

Y_{i} = μ + α \cdot Y_{i - 1} + ϵ_{i}

$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$

ϵ_{i}

$\epsilon_{i}$

σ_{e}^{2}

$\sigma_{e}^{2}$

(μ, α)^{t}

$(\mu, \alpha)^{t}$

(0, 0)

$(0,0)$

σ_{p}^{2}

$\sigma_{p}^{2}$

자동 회귀 공식을 기반으로, 이는 데이터 포인트 ( ) 의 분포 가 평균 및 분산 . 따라서 모든 데이터 포인트 의 밀도는 공동으로 (작성중인 프로그램에 적합하다고 가정) $Y_{i}$ $\mu + \alpha\cdot{}Y_{i-1}$ $\sigma_{e}^{2}$ $(Y)$

p (Y | (μ, α)^{t}) = \prod_{i = 2}^{11} \frac{1}{\sqrt{2 π σ_{e}^{2}}} \exp \frac{- (Y_{i} - μ - α \cdot Y_{i - 1})^{2}}{2 σ_{e}^{2}} .

$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$

Bayes의 정리에 따르면, 우리는 위의 밀도의 곱을 이전 밀도로 가져올 수 있으며 정규화 상수가 필요합니다. 필자의 직감은 이것이 가우시안 분포로 작동해야한다는 것입니다. 따라서 $\mu$ 및 이상의 적분으로 명시 적으로 계산하는 것이 아니라 결국 정규화 상수에 대해 걱정할 수 있습니다 $\alpha$ .

이것이 내가 문제를 일으키는 부분입니다. 이전 밀도 (다변량)와이 단 변량 데이터 밀도 곱의 곱을 어떻게 계산합니까? 후자는 순전히 $\mu$ 및 의 밀도 여야 $\alpha$ 하지만 그러한 제품에서 어떻게 얻을 수 있는지 알 수 없습니다.

당신이 올바른 방향으로 나를 가리킨 다음 지저분한 대수학 (이미 여러 번 시도한 것)을 수행해야하더라도 모든 포인터가 실제로 도움이됩니다.

시작점으로 다음은 베이 즈 규칙의 분자 형식입니다.

\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [\frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] .

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$

문제는 이것이 가우스 밀도가 감소하는 것을 보는 방법 입니다. $(\mu, \alpha)^{t}$

추가

궁극적으로 이것은 다음과 같은 일반적인 문제로 요약됩니다. 과 같은 2 차식이 주어지면 어떻게 2 차 형식으로 넣습니까 2x2 행렬의 경우 ? 쉬운 경우에는 충분히 간단하지만 평균 추정치 인 및 을 얻기 위해 어떤 프로세스를 사용 합니까?

A μ^{2} + B μ α + C α^{2} + J μ + K α + L

$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$

(μ - \hat{μ}, α - \hat{α}) Q (μ - \hat{μ}, α - \hat{α})^{t}

$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q

$Q$

\hat{μ}

$\hat{\mu}$

\hat{α}

$\hat{\alpha}$

행렬 수식을 확장 한 다음 위와 같이 계수를 동일하게하는 간단한 옵션을 시도했습니다. 필자의 경우 문제는 상수 이 0이고 두 개의 미지수로 세 개의 방정식을 얻었으므로 계수를 일치시키는 것으로 결정되지 않았습니다 (대칭 이차 형태 행렬을 가정하더라도). $L$

bayesian mathematical-statistics posterior

— ely
소스

[이 질문] ( stats.stackexchange.com/questions/22852/… )에 대한 나의 답변이 도움이 될 수 있습니다. 첫 번째 관찰을 위해 사전이 필요하다는 점에 유의하십시오-반복은 거기서 멈 춥니 다.

— 확률

이 경우 왜 필요한지 모르겠습니다. 나는 시간 간격이 관찰에 따라 조건부 독립적 인 것처럼 취급해야합니다. 접합 밀도의 . 나는 여기서 순차적으로 업데이트 된 공식을 얻는다고 생각하지 않습니다. 후부 대한 단일 공식 만 있습니다.

i = 2..11

$i=2..11$

p ((μ, α)^{t} | Y)

$p((\mu,\alpha)^{t}\quad |Y)$

— ely

이전 의 "다변량"은 데이터 밀도의 "단 변량"과 모순되지 않습니다. 왜냐하면 의 밀도이기 때문 입니다.

p (α, μ)

$p(\alpha,\mu)$

y_{i}

$y_i$

— 시안

이전 답변에 대한 내 대답의 단서는 매개 변수를 어떻게 통합했는지 살펴 보는 것입니다. 여기서 정확히 동일한 적분을 수행하기 때문입니다. 당신은 질문 분산 변수가 알려진 것으로 가정하므로 상수입니다. 분자에 대한 의존성 을 살펴보기 만하면됩니다. 이것을 보려면 다음과 같이 작성할 수 있습니다. $\alpha,\mu$

p (μ, α | Y) = \frac{p (μ, α) p (Y | μ, α)}{\int \int p (μ, α) p (Y | μ, α) d μ d α}

$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$

= \frac{\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

첫 번째 요소 빼내는 방법에 분모에 대한 이중 적분의 분자와 분자로 취소됩니다. 우리는 또한 제곱합 꺼내 수 및 취소됩니다. 우리가 남긴 적분은 이제 (제곱 항을 확장 한 후) : $\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

= \frac{\exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

이제 일반 pdf의 일반적인 결과를 사용할 수 있습니다.

\int \exp (- a z^{2} + b z - c) d z = \sqrt{\frac{π}{a}} \exp (\frac{b^{2}}{4 a} - c)

$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$ 에서 사각형을 완성하고 가 의존하지 않는다는 점에 주목하십시오 . 대한 내부 적분 은 및 와 및 . 이 적분을 수행 한 후에는 대한 나머지 적분을 찾을 수 있습니다.

- a z^{2} + b z

$-az^2+bz$

c

$c$

z

$z$

μ

$\mu$

a = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}}

$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$

b = \frac{\sum_{i = 2}^{11} Y_{i} - α \sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}}

$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$

c = \frac{α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{2 σ_{e}^{2}} + \frac{α^{2}}{2 σ_{p}^{2}}

$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$

α

$\alpha$ 또한이 형식이므로 다른 와 함께이 수식을 다시 사용할 수 있습니다 . 그런 다음 형식으로 를 쓸 수 있어야합니다. A는 행렬

a, b, c

$a,b,c$

\frac{1}{2 π | V |^{\frac{1}{2}}} \exp [- \frac{1}{2} (μ - \hat{μ}, α - \hat{α}) V^{- 1} (μ - \hat{μ}, α - \hat{α})^{T}]

$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$

V

$V$

2 \times 2

$2\times 2$

더 많은 단서가 필요하면 알려주십시오.

최신 정보

(참고 : 정확한 수식이어야 대신 ) $10\mu^2$ $\mu^2$

업데이트에서 작성한 2 차 형식을 살펴보면 계수 가 있음을 알 수 있습니다 ( 은 항상 분모에서 취소 할 상수를 추가 할 수 있으므로 구와 관련이 없습니다). 또한 미지수 도 있습니다. 따라서 방정식이 선형 적으로 독립적 인 한 "잘 제기 된"문제입니다. 이차를 확장하면 우리는 얻는다 : $5$ $L$ $5$ $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q_{11} (μ - \hat{μ})^{2} + Q_{22} (α - \hat{α})^{2} + 2 Q_{12} (μ - \hat{μ}) (α - \hat{α})

$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$

= Q_{11} μ^{2} + 2 Q_{21} μ α + Q_{22} α^{2} - (2 Q_{11} \hat{μ} + 2 Q_{12} \hat{α}) μ - (2 Q_{22} \hat{α} + 2 Q_{12} \hat{μ}) α +

$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$

+ Q_{11} {\hat{μ}}^{2} + Q_{22} {\hat{α}}^{2} + 2 Q_{12} \hat{μ} \hat{α}

$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$

2 차 계수를 비교하면 를 이는 (역) 공분산 행렬이 어떻게 보이는지 알려줍니다. 또한 대입 한 후 대해 약간 더 복잡한 방정식이 있습니다. 이들은 다음과 같이 매트릭스 형태로 작성 될 수 있습니다. $A=Q_{11},B=2Q_{12},C=Q_{22}$ $\hat{\alpha},\hat{\mu}$ $Q$

- (\begin{matrix} 2 A & B \\ B & 2 C \end{matrix}) (\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = (\begin{matrix} J \\ K \end{matrix})

$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$

따라서 추정치는 다음과 같습니다.

(\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = - {(\begin{matrix} 2 A & B \\ B & 2 C \end{matrix})}^{- 1} (\begin{matrix} J \\ K \end{matrix}) = \frac{1}{4 A C - B^{2}} (\begin{matrix} B K - 2 J C \\ B J - 2 K A \end{matrix})

$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$

아니면 고유 한 추정치가 없다는 것을 보여줍니다 . 이제 우리는 : $4AC\neq B^2$

\begin{array}{cc} A = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} & B = \frac{\sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}} & C = \frac{\sum_{i = 1}^{10} Y_{i}^{2}}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} \\ J = - \frac{\sum_{i = 2}^{11} Y_{i}}{σ_{e}^{2}} & K = - \frac{\sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{σ_{e}^{2}} \end{array}

$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$

대해 을 정의 하고 한계를 취하면 대한 추정값 은 보통 최소 제곱으로 제공됩니다 견적 및 여기서 및 . 따라서 사후 추정치는 OLS 추정치와 이전 추정치 사이의 가중 평균 입니다. $X_i=Y_{i-1}$ $i=2,\dots,11$ $\sigma^2_p\to\infty$ $\mu,\alpha$ $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$ $(0,0)$

— 확률 론적
소스

이것은 여기서 중요한 분모가 아니라고 구체적으로 언급했기 때문에 특별히 도움이되지 않습니다. 분모는 정규화 상수 일 뿐이며 분자를 가우스 형태로 줄이면 분명해집니다. 따라서 분모의 적분을 평가하는 요령은 수학적으로 정말 근사하지만 내 응용 프로그램에는 필요하지 않습니다. 내가 해결해야 할 유일한 문제는 분자를 조작하는 것입니다.

— ely

이 답변은 분자와 분모를 모두 제공합니다. 분자 는 확률론에 의해 강조되는 바와 같이 정상적인 2 차 형태로 이어지는 의 적절한 2 차 다항식을 나타냅니다 .

(α, μ)

$(\alpha,\mu)$

— 시안

@ems-정규화 상수를 계산하여 필요한 2 차 형태를 구성합니다. 여기에는 사각형을 완성하는 데 필요한 용어가 포함될 것입니다.

— 확률 론적

이것이 어떻게 2 차 형태를 제공하는지 이해하지 못합니다. 나는 당신이 게시 한 가우시안 적분법을 사용하여 분모의 두 적분을 해결했습니다. 결국, 나는 거대하고 지저분한 상수를 얻습니다. 그 상수를 가져 와서 1/2 곱하기 등의 결정으로 바꾸는 명확한 방법이없는 것 같습니다. 말할 것도 없습니다. mean vector ' . 이것은 원래 질문에서 도움을 요청한 것입니다.

(\hat{μ}, \hat{α})^{t}

$(\hat{\mu},\hat{\alpha})^{t}$

— ely

자세한 내용에 대해 대단히 감사합니다. 대수를 수행하여 이차 형태를 알아 내려고 할 때 약간의 오류가 발생했습니다. OLS 추정 기와의 관계에 대한 귀하의 의견은 매우 흥미롭고 감사합니다. 내장 최적화 된 방법이있는 분석 양식에서 샘플을 그릴 수 있기 때문에 이것이 코드 속도를 높일 것이라고 생각합니다. 나의 원래 계획은 Metropolis-Hastings를 사용하여 이것을 샘플링하는 것이었지만 매우 느 렸습니다. 감사!

— ely