베이 즈 정리에서 정규화 요소가 필요한 이유는 무엇입니까?

20

베이 즈 정리

P (model | data) = \frac{P (model) \times P (data | model)}{P (data)}

$P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})}$

이건 다 괜찮아 그러나 나는 어딘가를 읽었습니다.

기본적으로 P (data)는 정규화 상수, 즉 사후 밀도를 하나로 통합하는 상수입니다.

우리는 $0 \leq P(\textrm{model}) \leq 1$ 및 임을 알고 $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$ 있습니다.

따라서 $P(\textrm{model}) \times P(\textrm{data}|\textrm{model})$ 0과 1 사이 여야합니다. 이 경우 왜 후부가 하나에 통합되도록 정규화 상수가 필요한가?

— 스리 지트 라마 크리시 난
소스

4

이 게시물에서 언급 한 것처럼 확률 밀도 로 작업 할 때 그중 하나 (또는 둘 다!)가

초과 할 수도 있고 무한대

수도 있기 때문에 더 이상 결론을 0 <= P(model) <= 1내거나 결정할 수 없습니다 . stats.stackexchange.com/questions/4220을 참조하십시오 . 0 <= P(data/model) <= 1

1

$1$

— whuber

1

이 모호한 표기법이 확률이 아닌 데이터의 적분 가능성을 나타내므로

경우는 아닙니다 .

P (data | model) \leq 1

$P(\textrm{data}|\textrm{model})\le 1$

— 시안

15

첫째 , "우연 x 우선 순위"의 적분은 반드시 1이 아닙니다 .

다음과 같은 경우에는 사실이 아닙니다.

및 $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

모델과 관련하여 (모델의 매개 변수에 대한)이 제품의 적분은 1입니다.

데모. 두 개의 이산 밀도를 상상해보십시오.

P (model) = [0.5, 0.5] (this is called "prior") P (data | model) = [0.80, 0.2] (this is called "likelihood")

$P(\textrm{model}) = [0.5, 0.5] \text{ (this is called "prior")}\\ P(\textrm{data | model}) = [0.80, 0.2] \text{ (this is called "likelihood")}\\$

둘을 곱하면 다음과 같이 얻을 수 있습니다 : 이것은 하나에 통합되지 않기 때문에 유효한 밀도가 아닙니다 :

[0.40, 0.25]

$[0.40, 0.25]$

0.40 + 0.25 = 0.65

$0.40 + 0.25 = 0.65$

그렇다면 적분을 1로 설정하려면 어떻게해야합니까? 정규화 계수를 사용합니다.

\sum_{model_params} P (model) P (data | model) = \sum_{model_params} P (model, data) = P (data) = 0.65

$\sum_{\text{model_params}} P(\text{model}) P(\text{data | model}) = \sum_\text{model_params} P(\text{model, data}) = P(\text{data}) = 0.65$

(가난한 표기법에 대해 죄송합니다. 나는 당신이 문헌에서 모두 볼 수 있기 때문에 같은 것에 대해 세 가지 다른 표현을 썼습니다)

둘째 , "우도"는 무엇이든 될 수 있으며, 밀도 일지라도 1보다 큰 값을 가질 수 있습니다 .

@ whuber가 말했듯 이이 요소는 0과 1 사이 일 필요는 없습니다. 정수 (또는 합계)는 1이어야합니다.

세 번째 [추가], "접합체"는 정규화 상수를 찾는 데 도움을주는 친구 입니다.

P (model | data) \propto P (data | model) P (model)

$P(\textrm{model}|\textrm{data}) \propto P(\textrm{data}|\textrm{model}) P(\text{model})$

— 알베르토
소스

+1. 이것은 왜 정규화 상수가 왜 후방을 하나로 통합하기 위해 필요한지 에 대한 원래의 질문을 다루는 유일한 대답입니다 . 나중에 사후 처리 (예 : MCMC 추론 또는 절대 확률 계산)는 다른 문제입니다.

— Pedro Mediano

P (m o d e l) = [0.5, 0.5]

$P(model)=[0.5,0.5]$

σ^{2} = 1

$\sigma^2=1$

μ

$\mu$

P (μ) = [0.5, 0.5]

$P(\mu) = [0.5, 0.5]$

μ

$\mu$

12

귀하의 질문에 대한 짧은 대답은 분모가 없으면 오른쪽의 표현 은 확률 이 아니라 가능성 일 뿐이며 범위는 0에서 1까지 일 수 있습니다. "정규 상수"를 사용하면 확률을 얻을 수 있습니다. 다른 사건과 비교했을 때 사건의 상대적 가능성보다는 사건의 발생.

— heropup
소스

8

당신은 이미 두 가지 유효한 답변을 얻었지만 내 두 센트를 추가하겠습니다.

베이 즈 정리는 종종 다음과 같이 정의됩니다.

피 (모델 | 데이터) \propto 피 (모델) \times 피 (데이터 | 모델)

$P(\text{model}~ | ~\text{data}) \propto P(\text{model}) \times P(\text{data}~|~\text{model})$

상수가 필요한 유일한 이유는 상수가 1에 통합되기 때문입니다 (다른 사람들의 답변 참조). 이것은 베이지안 분석에 대한 대부분의 MCMC 시뮬레이션 접근법에서 필요하지 않으므로 상수가 방정식에서 떨어집니다. 따라서 대부분의 시뮬레이션에는 필요 하지 않습니다.

나는 Kruschke 의 설명을 좋아 합니다 . 마지막 강아지 (일정한)는 수식에 아무런 관련이 없기 때문에 졸립니다.

enter image description here

또한 Andrew Gelman과 같은 일부 사람들은 상수를 "과대 평가 된"것으로 간주하고 "사람들이 플랫 우선 순위를 사용할 때는 기본적으로 의미가 없습니다"( 여기서 논의를 확인 하십시오 )

— 팀
소스

9

강아지 소개에 +1. :) "어떤 동물이 답변의 서면 피해되지 않았다"

— 알베르토