베이 즈 정리 직관

22

나는 측면에서 베이 즈 이론의 이해를 기반으로 직관을 개발하기 위해 노력했습니다 전 , 후방 , 가능성 과 한계 확률을. 이를 위해 다음 방정식을 사용합니다.

P (B | A) = \frac{P (A | B) P (B)}{P (A)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$ 여기서

A

$A$ 는 가설 또는 신념을나타내고

B

$B$ 는 데이터 또는 증거를 나타냅니다.
나는의 개념을 이해 한후방- 그것은 통일 기업의 그 결합이전에믿음과가능성이벤트. 내가 이해하지 못하는 것은가능성이 무엇을의미 하는가? 그리고 왜분모의한계확률은?
몇 가지 리소스를 검토 한 후이 인용문을 보았습니다.

가능성 이벤트의 무게 $B$ 의 발생에 의해 주어진 $A$ ... $P(B|A)$ 는 IS 후방 이벤트의 확률 $B$ 이벤트 주어진, $A$ 발생하고있다.

위의 두 진술은 서로 다른 방식으로 작성된 것과 동일하게 보입니다. 누구든지이 둘의 차이점을 설명해 주시겠습니까?

bayesian likelihood intuition

— 아나 스 아 유비
소스

4

오타 (또는 오해)가 있습니다.

는 "가설 또는 신념" 이어야 하고

는 제제의 "데이터 또는 증거"여야합니다.

B

$B$

A

$A$

— gung-Monica Monica 복원

1

math.stackexchange.com/a/1943255/1505 에서 내 대답을 참조하십시오. 이것이 내가 직관적으로 이해하는 방법입니다.

— Lyndon White

27

Bayes의 법칙에 네 가지 구성 요소가 나열되어 있지만 세 가지 개념 구성 요소로 생각하는 것을 선호합니다.

\underset{2}{\underset{⏟}{P (B | A)}} = \underset{3}{\underset{⏟}{\frac{P (A | B)}{P (A)}}} \underset{1}{\underset{⏟}{P (B)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

이전은 당신에 대해 생각 무엇 전에 (즉, 정보의 새로운 및 관련 조각을 발견 한 ). $B$ $A$
후방은 당신이 믿는 것입니다 (또는 에게서는 당신은 합리적인 경우)에 대해 후 새로운 정보와 관련 조각을 발견 한. $B$
가능성의 몫은 정보의 새로운 조각의 한계 확률로 나눈 인덱싱 정보 성 에 대한 믿음에 대한 새로운 정보를 . $B$

— gung-복직 모니카
소스

19

이미 몇 가지 좋은 답변이 있지만 아마도 이것은 새로운 것을 추가 할 수 있습니다 ...

나는 항상 베이 즈 규칙을 구성 요소 확률의 관점에서 생각합니다.이 확률은 아래 그림과 같이 사건 와 의 관점에서 기하학적으로 이해할 수 있습니다 . $A$ $B$

한계 확률 와 대응하는 원형의 영역에 의해 주어진다. 가능한 모든 결과는 이벤트 집합 " 또는 "에 해당하는 로 표시됩니다 . 결합 확률 이벤트 "에 대응 및 '. $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

이 틀 에서 베이 즈 정리 의 조건부 확률 은 면적의 비율로 이해 될 수 있습니다. 주어진 의 확률은 가 차지하는 의 비율입니다 $A$ $B$ $B$ 로 표현되는 $A \cap B$ 마찬가지로, 확률주어진의 분율이고에 의해 점유, 즉,

P (A | B) = \frac{P (A \cap B)}{P (B)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P (B | A) = \frac{P (A \cap B)}{P (A)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

베이 즈는 정리가 정말로 재 작성 될 수 위의 정의 단지 수학적인 결과이며, 나는이 발견 대칭을 기억하기 훨씬 쉬운 베이 즈 정리의 형태. 즉, 어떤 또는 가 "선행"대 "후방"으로 표시 되는지에 관계없이 동일성이 유지된다 .

P (B | A) P (A) = P (A \cap B) = P (A | B) P (B)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(위의 논의를 이해하는 또 다른 방법은 더 많은 "회계 스프레드 시트"관점 에서이 질문에 대한 답변으로 제공됩니다 .)

— 지오 맷 22
소스

9

@ gung은 큰 대답이 있습니다. 실제 예에서 "초기"를 설명하기 위해 하나의 예를 추가하겠습니다.

실제 사례와의 연결을 개선하기 위해 를 사용 하여 가설을 나타내는 표기법을 변경하고 싶습니다 ( $H$ $A$ 식 ) 을 나타내며 를 사용 하여 증거를 나타내는 . ( 방정식 의 ) $E$ $B$

그래서 공식은

P (H | E) = \frac{P (E | H) P (H)}{P (E)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

동일한 수식을 다음과 같이 쓸 수 있습니다.

P (H | E) \propto P (E | H) P (H)

$P(H|E) \propto {P(E|H)P(H)}$

여기서 는 비례 하고 는 가능성 이고 는 이전 입니다. 이 방정식은 방정식 의 오른쪽이 클수록 후방 이 더 커짐을 의미합니다 . 그리고 당신은 가 숫자를 확률로 만드는 정규화 상수 라고 생각할 수 있습니다 (내가 상수라고 말하는 이유는 증거 가 이미 주어 졌기 때문 입니다). $\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

$H \in \{0,1\}$

$1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

$P(H|E)$

$E\in\{0,1\}$

$P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— 하이 타오 뒤
소스

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

베이 즈의 규칙은

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$ .

비율을 참고하십시오

\frac{피 (비, ㅏ)}{피 (비) 피 (ㅏ)} .

$\frac{P(b,a)}{P(b)P(a)}.$

만약 $B \perp A$ 그런 다음 $P(b,a)=P(b)P(a)$ . So it’s almost like telling us how far the joint deviates from full independence, or how much information the variables have in common.

Interestingly, the log of this ratio is also present in mutual information:

I (A | B) = \sum_{a, b} P_{} (a, b) \log \frac{P_{} (b, a)}{P (b) P (a)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— user0
소스

0

I often find viewing the theorem as a table, with the possible outcomes for "B" as the rows, and the possible outcomes for "A" as the columns. The joint probabilities $P(A,B)$ are the values for each cell. In this table we have

likelihood = row proportions posterior = column proportions

The prior and marginal are analogously defined, but based on "totals" instead of a particular column

marginal = row total proportions prior = column total proportions

I find this helps me.

— probabilityislogic
소스