최대 사후 추정의 예

나는 최대 가능성 추정과 최대 사후 추정에 대해 읽었으며 지금까지 최대 가능성 추정과 함께 구체적인 예를 만났습니다. 나는 최대 사후 추정의 추상 예제를 찾았지만 아직 구체적인 숫자는 없습니다.

추상 변수와 함수로만 작동하는 것은 매우 압도적 일 수 있으며, 이러한 추상화에 빠져들지 않기 위해 사물을 현실 세계와 때때로 연관시키는 것이 좋습니다. 그러나 물론 이것은 단지 내 (그리고 다른 사람들의) 관찰입니다 :)

따라서 누구든지 숫자가있는 Maximum A Posteriori 추정의 단순하지만 구체적인 예를 들어 줄 수 있습니까? 그것은 많은 도움이 될 것입니다 :)

감사합니다!

원래이 질문을 MSE에 게시했지만 거기에 대한 답변을 얻을 수 없습니다.

/math/449386/example-of-maximum-a-posteriori-estimation

나는 교차 게시에 대한 여기의 지시를 따랐습니다.

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

제 1 예

일반적인 경우는 자연어 처리의 맥락에서 태그를 지정 하는 것입니다. 자세한 설명 은 여기 를 참조 하십시오 . 아이디어는 기본적으로 문장에서 단어 의 어휘 범주 를 결정할 수 있어야합니다 (명사, 형용사 등). 기본 아이디어는 숨겨진 마르코프 모델 ( HMM ) 로 구성된 언어 모델이 있다는 것 입니다. 이 모델에서 숨겨진 상태는 어휘 범주에 해당하고 관찰 된 상태는 실제 단어에 해당합니다.

각각의 그래픽 모델은

$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

일단 훈련되면 목표는 주어진 입력 문장에 해당하는 올바른 어휘 범주 순서를 찾는 것입니다. 이것은 언어 모델에 의해 가장 호환 가능하거나 생성 될 가능성이 가장 높은 태그 시퀀스를 찾는 것으로 공식화됩니다.

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

두 번째 예

실제로 더 좋은 예는 회귀입니다. 이해하기 쉬울뿐만 아니라 최대 우도 (ML)와 최대 사후 (MAP)의 차이를 명확하게하기 때문에.

$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

잘 알려진 최소 제곱 오차 솔루션을 생성합니다. 이제 ML은 소음에 민감하며 특정 상황에서는 안정적이지 않습니다. MAP를 사용하면 가중치를 제한하여 더 나은 솔루션을 선택할 수 있습니다. 예를 들어, 일반적인 경우는 능선 회귀 분석으로 가중치가 가능한 한 작은 표준을 갖도록 요구합니다.

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

MAP에서 가중치는 ML에서와 같이 매개 변수가 아니라 임의 변수입니다. 그럼에도 불구하고 ML과 MAP은 모두 포인트 추정기입니다 (최적 가중치의 분포가 아닌 최적의 가중치 세트를 반환 함).