라플라스 스무딩 및 디 리클 렛 이전

11

온 위키 문서 라플라스 평활화 (또는 첨가제 평)의 특징이되는 볼 베이지안 점에서,

이는 사전에 모수 를 갖는 대칭 Dirichlet 분포를 사용하여 사후 분포의 예상 값에 해당합니다 . $\alpha$

나는 그것이 실제로 어떻게 사실인지 의아해합니다. 누군가 그 두 가지가 어떻게 동등한 지 이해하도록 도울 수 있습니까?

감사!

— DanielX2010
소스

10

확실한. 이것은 본질적으로 Dirichlet 분포가 다항 분포에 대한 공역 체라는 관찰입니다 . 이것은 기능적인 형태가 동일하다는 것을 의미합니다. 이 기사에서는 언급하지만 다항식 샘플링 모델에서 나온 것임을 강조하겠습니다. 그래서 내려가는 중 ...

관찰 결과는 사후에 관한 것이므로 개의 고유 한 항목의 개수 인 데이터를 소개하겠습니다 . 우리는 총 샘플을 관찰 합니다. 우리는 가 알 수없는 분포 ( -simplex 앞에 넣을 것임) 에서 추출 되었다고 가정 합니다. $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

및 데이터 가 주어진 의 사후 확률 은 $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

가능성 는 다항 분포입니다. 이제 pdf 파일을 작성해 봅시다 : $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

과

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

여기서 입니다. 곱하면 $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

다시 말해, 후자는 또한 디리클레입니다. 문제는 사후 평균에 관한 것이었다. 후방은 디리클레을하기 때문에, 우리가 적용 할 수 디리클레의 평균에 대한 공식을 것을 찾기 위해,

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

도움이 되었기를 바랍니다!

— 네
소스

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ 따라서그것들은 비례 하지만 평등을 쓰는 것은 사실이 아닙니다.

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

— michal

나는 이것에 대해 오랫동안 혼란스러워했으며 내 실현을 나누고 싶습니다. Dirichlet의 Laplace smoothing에 동기를 부여하는이 사람들은 MAP가 아닌 사후 평균을 사용하고 있습니다. 간단히하기 위해 베타 분포 (디리클레의 가장 간단한 경우)를 가정합니다. 사후 평균은 이고 MAP는 . 따라서 누군가 하면 분자에 1을 더하고 분모에 2를 더하는 것에 해당하면, 사후 평균을 사용하기 때문입니다.

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

— RMurphy 2016 년

0

부수적으로, 나는 또한 위의 파생물에 또 다른 요점을 추가하고 싶습니다.이 질문은 실제로 주요 질문과 관련이 없습니다. 그러나 다항 분포에 대한 Dirichlet의 이전 이야기에 대해, 확률을 성가심 변수로 사용한다면 우도 함수의 형태가 무엇인지 언급 할 가치가 있다고 생각했습니다.

sydeulissie가 올바르게 지적했듯이 는 비례합니다 . 이제 계산하고 싶습니다 . $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

감마 함수에 적분 항등을 사용하면 다음과 .

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

범주 형 데이터에 대한 상기 가능성의 도출은 샘플 크기 이 충분히 크지 않은 경우에이 데이터를 처리하는보다 강력한 방법을 제안한다 . $N$

— 옴디
소스