베이 즈 정리는 기대를 유지합니까?

18

두 개의 임의 변수 와 , $A$ $B$

E (A ∣ B) = E (B ∣ A) \frac{E (A)}{E (B)} ?

$E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?$

bayesian mathematical-statistics

— 톰카
소스

3

흠 ... 나는 그 두 측면이 동일하다고 생각하지 않습니다

— Jon

6

답변에서 지적했듯이, 한쪽에 임의의 변수가 다른 쪽의 조절 변수 인 통합되어 있기 때문에 문제는 비 의식적으로 의미가 없습니다.

— 시안

25

\begin{matrix} (1) & E [A ∣ B] \overset{?}{=} E [B ∣ A] \frac{E [A]}{E [B]} \end{matrix}

$E[A\mid B] \stackrel{?}= E[B\mid A]\frac{E[A]}{E[B]} \tag 1$ 추정 된 결과 은 독립적 인 랜덤 변수에 대해 사소한 사실입니다. 및 제로 수단.

(1)

$(1)$

A

$A$

B

$B$

경우 , 다음의 우측 에 의해 분할을 수반 등 의미한다. 와 가 독립적 인지 여부 는 관련이 없습니다. $E[B]=0$ $(1)$ $0$ $(1)$ $A$ $B$

일반적으로 , 좌우 랜덤 변수 의존하지만, 구체적위한 보유하지 않는 및 만족하는 을 찾을 수있다. 우리는 계속 주장해야하며 , 그렇지 않으면 의 오른쪽 은 의미가 없습니다. 명심 A는 확률 변수 될 일 함수 랜덤 변수의 말할 하는 동안 A는 확률 변수 A는 함수 의 확률 변수의 , 말 $(1)$ $A$ $B$ $(1)$ $E[B]\neq 0$ $(1)$ $E[A\mid B]$ $B$ $g(B)$ $E[B\mid A]$ $A$ $h(A)$ . 따라서 은 $(1)$

\begin{matrix} (2) & g (B) \overset{?}{=} h (A) \frac{E [A]}{E [B]} \end{matrix}

$g(B)\stackrel{?}= h(A)\frac{E[A]}{E[B]} \tag 2$ 는 실제 진술이 될 수 있으며 분명히 대답은 는 일반적으로 배수 .

g (B)

$g(B)$

h (A)

$h(A)$

내 지식으로는, 이 보유 할 수 있는 두 가지 특별한 경우가 있습니다. $(1)$

위에서 언급 한 바와 같이, 독립적 인 랜덤 변수 와 에 대해 와 는 각각 와 와 동일한 변성 랜덤 변수 (통계적으로 불명확 한 사람들에 의해 상수라고 불림)입니다. 이면 . $A$ $B$ $g(B)$ $h(A)$ $E[A]$ $E[B]$ $E[B]\neq 0$ $(1)$
독립성의 스펙트럼의 다른 쪽 끝에서, 여기서 는 뒤집을 수없는 함수 이므로 와 는 전적으로 종속 랜덤 변수. 이 경우 등 이된다 정확히 유지하는 여기서 될 수있는 임의 0이 아닌 실수. 따라서 가 의 스칼라 배수 일 때마다 , 물론 $A=g(B)$ $g(\cdot)$ $A=g(B)$ $B=g^{-1}(A)$
$E [A ∣ B] = g (B), E [B ∣ A] = g^{- 1} (A) = g^{- 1} (g (B)) = B$ $E[A\mid B] = g(B), \quad E[B\mid A] = g^{-1}(A) = g^{-1}(g(B)) = B$ $(1)$ $g (B) \overset{?}{=} B \frac{E [A]}{E [B]}$ $g(B)\stackrel{?}= B\frac{E[A]}{E[B]}$ $g(x) = \alpha x$ $\alpha$ $(1)$ $A$ $B$ $E[B]$ 0이 아니어야합니다 ( Michael Hardy의 답변 참조 ). 상기 것이 개발 프로그램 있어야 선형 함수와 그 에 대해 길게 할 수 아핀 함수 와 . 그러나, 참고 Alecos에 Papadopolous 그의 대답 한 후, 자신의 코멘트 청구하는 경우, A는 통상 제로 평균 후 대한 랜덤 변수 특정의 값 및 그가 제공하는, 그리고 만족 $g(x)$ $(1)$ $g(x) = \alpha x + \beta$ $\beta \neq 0$ $B$ $\alpha$ $\beta\neq 0$ $A=\alpha B+\beta$ $B$ $(1)$ . 제 생각에는 그의 모범이 잘못되었습니다.

이 답변에 대한 의견에서, Huber는 대칭적인 추측 평등 을 고려할 것을 제안했습니다 물론 와 의 값에 관계없이 독립적 인 랜덤 변수와 스칼라 배수 에도 항상 유효합니다 . 물론,보다 사소, 에 대해 보유하고 있는 제로 - 평균 확률 변수 및 : (!는 중요하지 않는 독립 또는 종속 스칼라 배수 또는 생략) 충분 평등 . 따라서 만큼 흥미롭지 않을 수 있습니다

\begin{matrix} (3) & E [A ∣ B] E [B] \overset{?}{=} E [B ∣ A] E [A] \end{matrix}

$E[A\mid B]E[B] \stackrel{?}=E[B\mid A]E[A]\tag{3}$

E [A]

$E[A]$

E [B]

$E[B]$

A = α B

$A = \alpha B$

(3)

$(3)$

A

$A$

B

$B$

E [A] = E [B] = 0

$E[A]=E[B]=0$

(3)

$(3)$

(3)

$(3)$

(1)

$(1)$ 토론 주제.

— 디립 사르 베이트
소스

9

+1. 관대하게, 질문은 0으로 나누는 질문이 사라지는 인지 묻는 것으로 해석 될 수있다 .

E (A | B) E (B) = E (B | A) E (A)

$E(A|B)E(B)=E(B|A)E(A)$

— whuber

1

@ whuber 감사합니다. 내 편집은 가질 수 있는지에 대한보다 일반적인 질문을 해결합니다 .

E [A ∣ B] E [B] = E [B ∣ A] E [A]

$E[A\mid B]E[B]=E[B\mid A]E[A]$

— Dilip Sarwate

11

결과는 일반적으로 사실이 아닙니다. 간단한 예에서 보도록하겠습니다. 하자 파라미터를 이항 분포를 및 파라미터와 베타 distrubution가 , 공액 종래와 베이지안 모델이다. 이제 공식의 양변을 계산하면 왼쪽은 이고 오른쪽은 $X \mid P=p$ $n,p$ $P$ $(\alpha, \beta)$ $\DeclareMathOperator{\E}{\mathbb{E}} \E X \mid P = nP$ 와 확실히 같지 않습니다.

E (P ∣ X) \frac{E X}{E P} = \frac{α + X}{n + α + β} \frac{α / (α + β)}{n α / (α + β)}

$\E( P\mid X) \frac{\E X}{\E P} = \frac{\alpha+X}{n+\alpha+\beta} \frac{\alpha/(\alpha+\beta)}{n\alpha/(\alpha+\beta)}$

— 크 제틸 비 할보 르센
소스

2

랜덤 변수 조건부 기대 값 그 이벤트가 지정된 숫자에 달려 수이고 있다. 따라서 그것을 라고 부릅니다 이어서 조건부 기대 값 인 그 값이 완전히 랜덤 변수의 값에 의해 결정되는 임의의 변수 . 따라서 는 와 $A$ $B=b$ $b$ $h(b).$ $\operatorname{E}(A\mid B)$ $h(B),$ $B$ $\operatorname{E}(A\mid B)$ $B$ 의 함수이다. $\operatorname{E}(B\mid A)$ $A$

몫 는 숫자 일뿐입니다. $\operatorname{E}(A)/\operatorname{E}(B)$

따라서 제안 된 평등의 한쪽은 의해 결정되고 다른 쪽은 에 의해 결정 되므로 일반적으로 같을 수 없습니다. $A$ $B$

(아마도 와 의 값이 서로를 결정할 때 사소한 경우에는 및 일 때 $A$ $B$ $A = \alpha B, \alpha \neq 0$ $E[B]\neq 0$ 그러나 몇 점에서만 서로 동등한 기능은 동일하지 않습니다.)

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

— 마이클 하디
소스

당신은 그들이 반드시 동등하지 않다는 것을 의미합니까? 나는 그들이 동등 할 수 있다는 것을 의미합니까?

— BCLC

1

@BCLC : 사소한 경우에만 동일합니다. 그리고 어떤 점에서는 두 기능이 서로 같고 다른 점 에서는 같지 않습니다 .

— Michael Hardy

2

"하지만 사소한 경우 에만 동일 할 수 있습니다"(강조 추가)는 정확하지 않습니다.

인 독립

및

를 고려하십시오 . 그런 다음

동안

그리고

A

$A$

B

$B$

E [B] \neq 0

$E[B]\neq 0$

E [A ∣ B] = E [A]

$E[A\mid B] = E[A]$

E [B ∣ A] = E [B]

$E[B\mid A] = E[B]$

E [B ∣ A] \frac{E [A]}{E [B]} = E [B] \frac{E [A]}{E [B]} = E [A] = E [A ∣ B] .

$E[B\mid A] \frac{E[A]}{E[B]} = E[B]\frac{E[A]}{E[B]} = E[A] = E[A\mid B].$

— Dilip Sarwate

@ DilipSarwate 나는 그 하하를 말하려고했다!

— BCLC

지적한 사례에 대한 몇 가지 세부 정보를 추가하기 위해 답변을 수정했습니다. 변경 사항이 마음에 들지 않으면 롤백하십시오.

— Dilip Sarwate

-1

그 표현은 확실히 일반적인 것은 아닙니다. 재미를 위해 아래에서 와 가 이변 량 정규 분포를 따르고 0이 아닌 평균 을 갖는 경우 두 변수가 서로 선형 함수이고 동일한 변동 계수를 갖는 경우 결과가 유지됨을 보여줍니다 ( 절대 항으로 평균에 대한 표준 편차의 비율). $A$ $B$

공동 법선의 경우

E (A ∣ B) = μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B})

$\operatorname{E}(A \mid B) = \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B)$

우리는 부과하고 싶습니다

μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = [μ_{B} + ρ \frac{σ_{B}}{σ_{A}} (A - μ_{A})] \frac{μ_{A}}{μ_{B}}

$\mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \left[\mu_B + \rho \frac{\sigma_B}{\sigma_A}(A - \mu_A)\right]\frac{\mu_A}{\mu_B}$

⟹ μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = μ_{A} + ρ \frac{σ_{B}}{σ_{A}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$\implies \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \mu_A + \rho \frac{\sigma_B}{\sigma_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

간단히 한 다음 간단히 하고 다시 배열하여 $\mu_A$ $\rho$

B = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$B = \mu_B +\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

So this is the linear relationship that must hold between the two variables (so they are certainly dependent, with correlation coefficient equal to unity in absolute terms) in order to get the desired equality. What it implies?

First, it must also be satisfied that

E (B) \equiv μ_{B} = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (E (A) - μ_{A}) ⟹ μ_{B} = μ_{B}

$E(B) \equiv \mu_B = \mu_B+\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(E(A) - \mu_A) \implies \mu_B = \mu_B$

so no other restirction is imposed on the mean of $B$ ( or of $A$ ) except of them being non-zero. Also a relation for the variance must be satisfied,

Var (B) \equiv σ_{B}^{2} = {(\frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}})}^{2} Var (A)

$\operatorname{Var}(B) \equiv \sigma^2_B = \left(\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}\right)^2\operatorname{Var}(A)$

⟹ {(σ_{A}^{2})}^{2} σ_{B}^{2} = {(σ_{B}^{2})}^{2} σ_{A}^{2} {(\frac{μ_{A}}{μ_{B}})}^{2}

$\implies \left(\sigma^2_A\right)^2\sigma^2_B = \left(\sigma^2_B\right)^2\sigma^2_A\left(\frac{\mu_A}{\mu_B}\right)^2$

⟹ {(\frac{σ_{A}}{μ_{A}})}^{2} = {(\frac{σ_{B}}{μ_{B}})}^{2} ⟹ ({cv}_{A})^{2} = ({cv}_{B})^{2}

$\implies \left(\frac{\sigma_A}{\mu_A}\right)^2 = \left(\frac{\sigma_B}{\mu_B}\right)^2 \implies (\text{cv}_A)^2 = (\text{cv}_B)^2$

⟹ | {cv}_{A} | = | {cv}_{B} |

$\implies |\text{cv}_A| = |\text{cv}_B|$

which was to be shown.

Note that equality of the coefficient of variation in absolute terms, allows the variables to have different variances, and also, one to have positive mean and the other negative.

— Alecos Papadopoulos
소스

1

Isn't this a convoluted way to

A = α B

$A = \alpha B$ where

α

$\alpha$ is some scalar?

— Matthew Gunn

1

@MatthewGunn Your comment is right on target. Normality has nothing to do with the matter. For random variables

A

$A$ and

B

$B$ such that

A = α B

$A = \alpha B$ ,

E [A ∣ B] = α B = A

$E[A\mid B] = \alpha B = A$ and similarly,

E [B ∣ A] = B

$E[B\mid A] = B$ . Consequently, assuming that

E [B] \neq 0

$E[B]\neq 0$ ,

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$ No normality, no

| c v_{A} | = | c v_{B} |

$|cv_A|=|cv_B|$ etc, and actually just a rehash of a comment in Michael Hardy's answer.

— Dilip Sarwate

If you write \text{Var} instaed of \operatorname{Var} then you'll see

a Var X

$a\text{Var}X$ and

a Var (X)

$a\text{Var}(X)$ instead of

a Var X

$a\operatorname{Var}X$ and

a Var (X) .

$a\operatorname{Var}(X).$ That's why the latter is standard usage.

— Michael Hardy

@MatthewGun It seems to me that providing answers that contain specific examples is considered valuable content in this site. So yes, when a random variable is an affine function of another, and they are jointly normal with non-zero means, then one needs to have equal coefficients of variation, while, also there are no restrictions on the means of these rv's. On the other hand, when a random variable is just a linear function of another, the relation holds always. So no my answer is not a convoluted way to say

A = a B

$A=aB$ . (cc:@DilipSarwate)

— Alecos Papadopoulos

2

If

B

$B$ is a non-normal random variable with

E [B] = μ_{B} \neq 0

$E[B]=\mu_B\neq 0$ and

A = c B + d

$A=c B+d$ (and so

B = \frac{A - d}{c}

$B=\frac{A-d}{c}$ ), then

E [A ∣ B] = c B + d = A, E [B ∣ A] = \frac{A - d}{c} = B .

$E[A\mid B]=cB+d=A, E[B\mid A]=\frac{A-d}{c}=B.$ Now, if we want to have

E [A ∣ B] = c B + d

$E[A\mid B]=cB+d$ to equal

E [B ∣ A] \cdot \frac{μ_{A}}{μ_{B}} = B \cdot \frac{μ_{A}}{μ_{B}}

$E[B\mid A]\cdot\frac{\mu_A}{\mu_B} =B\cdot\frac{\mu_A}{\mu_B}$ , it must be that

c B + d = B \cdot \frac{μ_{A}}{μ_{B}} ⟹ d = 0, c = \frac{μ_{A}}{μ_{B}}

$cB+d=B\cdot\frac{\mu_A}{\mu_B}\implies d=0,c=\frac{\mu_A}{\mu_B}$ and so

A = c B = \frac{μ_{A}}{μ_{B}} B

$A=cB=\frac{\mu_A}{\mu_B}B$ . So, for nonnormal

B

$B$ , the OP's conjectured result holds if

A = c B

$A=cB$ but not if

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .Of course, as you have proved, the result holds for normal random variables if

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .

— Dilip Sarwate