반복 된 기대 법칙의 일반화

43

나는 최근에이 정체성을 발견했다.

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

물론 그 규칙의 더 간단한 버전, 즉 익숙 $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$ 하지만 일반화에 대한 정당성을 찾을 수 없었습니다.

누군가가 그 사실에 대한 기술이 아닌 참조를 지적 할 수 있다면, 또는 누군가 가이 중요한 결과에 대한 간단한 증거를 제시 할 수 있다면 더 좋을 것입니다.

self-study conditional-probability conditional-expectation

— 존
소스

2

y

$y$ 자체가 일부

조절 되었다면

x

$x$ 이것이 더 간단한 버전에서 정확하게 떨어지지 않습니까?

— Mehrdad

36

비공식 치료

우리는 임의의 변수를 조건으로하는 표기법이 경제적이지만 표기법으로 부정확하다는 것을 기억해야합니다. 실제로 우리는 이러한 임의의 변수가 생성하는 시그마 대수를 조건으로합니다. 즉 $E[Y\mid X]$ 평균을 의미 $E[Y\mid \sigma(X)]$ . 이 비고는 "비공식 처리"에서 적절하지 않은 것처럼 보일 수 있지만, 우리의 컨디셔닝 엔티티는 세트 의 집합 이라는 것을 상기시킵니다 . 그리고이 세트에는 무엇이 포함되어 있습니까? 그들은 정보를 포함랜덤 변수 의 가능한 값 $X$ 은 의 실현으로 일어날 수있는 일에 대해 우리에게 제공합니다 $Y$ .
정보의 개념을 도입함으로써, 반복 기대 법칙 (때때로 "타워 속성"이라고도 함)을 매우 직관적 인 방법으로 생각하고 사용할 수 있습니다.
두 개의 임의 변수에 의해 생성 된 시그마 대수는 하나의 임의의 변수에 의해 생성 된 것보다 크다 : $\sigma (X) \subseteq \sigma(X,Z)$ . 이렇게 정보 에 대한 $Y$ 포함 $\sigma(X,Z)$ 는 적어도 의 해당 정보만큼 큽니다 $\sigma (X)$ .
이제 표기법의 수 누대로 $\sigma (X) \equiv I_x$ 및 $\sigma(X,Z) \equiv I_{xz}$ . 그러면 우리가보고있는 방정식의 LHS를 쓸 수 있습니다.

구두로 우리가 위의 표현 묘사 : "{의 기대 값의 기대 무엇 정보 제공 우리가 이용 가능한 정보가 주어진} 만?"

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

우리는 어떻게 든 "고려"할 수 ? 아니요 – 우리는 만 알고 있습니다. 우리가 (우리는 우리가 해결하려는 식으로 의무로) 우리는 우리가 본질적에 대한 것을 말하고, 무엇을 사용한다면 기대 연산자 아래를, 우리가 말할 즉 없습니다 " 더 이상"- 우리는 방금 정보를 다 써버 렸습니다. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

따라서

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

다른 사람이 그렇지 않으면 정식 치료를 위해 돌아옵니다.

정식 치료

P. Billingsley의 확률과 측정 (3d ed.-1995)과 D. Williams "Martingales의 확률"(1991)이라는 두 가지 매우 중요한 확률 이론에 관한 책이 어떻게 "반복 된 기대의 법칙"을 입증하는 문제를 다루는 지 살펴 보자.
Billingsley는 증거에 정확히 세 줄을 바칩니다. 윌리엄스와 나는 인용한다.

"(타워 속성)은 조건부 기대의 정의와 거의 즉각적입니다."

그것은 한 줄의 텍스트입니다. Billingsley의 증거는 덜 불투명하지 않습니다.

조건부 기대의 중요하고 매우 직관적 인 속성은 본질적으로 그 정의에서 직접적으로 (그리고 거의 즉시) 파생됩니다. 유일한 문제는,이 정의가 일반적으로 확률 밖에서 가르치지 않거나 적어도 강조 표시되지 않는다는 것입니다. 이론적 원을 측정 할 수도 있습니다. 그러나 반복 된 기대 법칙이 보유하고있는 (거의) 세 줄을 나타내려면 조건부 기대의 정의 또는 정의 속성이 필요 합니다.

확률 공간 과 적분 랜덤 변수 보자 . 하자 서브 수 -algebra의 , . 그러면이 함수 존재 인 , -measurable를 적분하고 (이것은 정의 속성이다) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

여기서 는 세트 의 표시기 기능입니다 . 우리는 가 주어지면 의 조건부 기대 값 이라고 말하고 라고 씁니다. $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ 여기서 주목해야 할 중요한 세부 사항으로 조건부 기대, 같은 기대 값을 가지고 있다는 것입니다 전체에 걸쳐뿐만 아니라, 않습니다 ,하지만 모든 부분 집합 의 . $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(이제 Tower 속성이 조건부 기대의 정의에서 파생되는 방법을 제시하려고 노력할 것입니다).

는 측정 가능한 랜덤 변수입니다. 그런 다음 일부 대수를고려하십시오 ( . 그런 다음 입니다. 그래서, 이전과 같은 유사한 방식으로, 우리의 조건부 기대가 주어진 말할 $W$ $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ 그 특징은 $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

이후 , 방정식 및 우리에게 $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

그러나 이것은 주어진 에 대한 조건부 기대의 정의 속성입니다 . $Y$ $\mathcal H$ 따라서 우리는 라고 쓸 수 있습니다 우리 구성하여도 갖기 때문에 - 팔 개 라인에서는 단지 탑 속성이나 법률이 Iterated의 기대의 일반적인 형태를 증명했다. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— 알레 코스 파파도풀로스
소스

6

(+1) 추상적이고 어려운 개념을 설명하는 데 유용한 방법입니다. 그러나 나는 "... 더 크지 않다 ..."라는 문구는 "작지 않다"고 생각합니다. 약해 그 섹션에 대한 정보 그래서 하나 개의 랜덤 변수에 의해 발생 된 큰로서 적어도 .. 두 가지 변수에 의해 생성 된 시그마 대수는 "에서와 같이, 원판을 제거하고 병렬 구조를 사용하여 명확하게 이루어질 수

포함 에서

로서 적어도 뛰어나며 등의 대응 정보

. "

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

cc @whuber 감사합니다. 이것은 매우 유용한 정리입니다.

— JohnK

@ whuber이 점을 발견하고 제안 해 주셔서 감사합니다.

— Alecos Papadopoulos

24

조건부 기대를 이해하고 학생들을 가르치는 방법은 다음과 같습니다.

조건부 기대 는 해상도 의 카메라로 촬영 한 사진입니다 $E[Y|\sigma(X)]$ $\sigma(X)$

Alecos Papadopoulos가 언급했듯이, 표기법 가 . 카메라 라인을 따라 를 풍경, 풍경과 같은 원래의 대상으로 생각할 수 있습니다 . 는 해상도 의 카메라로 찍은 사진입니다 $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$ . 기대는 평균화 연산자 ( "흐리게하기"연산자?)입니다. scenary에는 많은 물건이 들어있을 수 있지만 해상도가 낮은 카메라를 사용하여 찍은 사진은 확실히 세부 사항이 사라질 것입니다. 예를 들어 육안으로 볼 수있는 하늘에는 UFO가있을 수 있지만 그렇지 않습니다. 촬영 한 사진에 (iphone 3?)

만큼 해상도가 너무 높으면 이 그림은 실제 풍경의 모든 세부 사항을 캡처 할 수 있습니다. 이 경우 . $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

이제 는 다음과 같이 볼 수 있습니다 : (예 : iphone 3) 보다 낮은 해상도 (예 : iphone 1)를 가진 다른 카메라를 사용하여 해상도가 인 카메라 라면 $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ 사진의이 사진은 원래 풍경에서 해상도 가 낮은 카메라를 사용하는 것과 동일해야합니다 . $\sigma(X)$

이것은 . 사실이 같은 직관은 우리에게 $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$ 아직도. 첫 번째 사진을 iphone 1 (즉, 저해상도)로 촬영 한 후 더 나은 카메라 (예 : iphone 3)를 사용하여 첫 번째 사진에 다른 사진을 생성하려는 경우에는 방법이 없습니다. 첫 번째 사진의 품질을 향상시킬 수 있습니다.

— 케빈 김
소스

2

그것을 사랑하십시오! :) 좋은 설명.

— jessica

1

@jessica 내가 도움이 기뻐요 :-) 그것은이 설명과 함께 올 걸 렸어요

— KevinKim

21

반복 기대 법칙 (LIE)에서, , 내부 기대 값은 랜덤 변수 가 아니라 의 함수 가되는 랜덤 변수 이며 , 는 아닙니다. 기능 . 의이 기능에 대한 기대가 대한 기대와 동일하다는 것은 LIE의 결과입니다. 이 모든 것은 수작업 으로 평균화 하여 의 평균값을 찾을 수 있다는 주장입니다. $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ 다양한 조건 에서 의 평균값 . 사실상, 그것은 총 확률 법칙의 직접적인 결과 일뿐입니다. 예를 들어, 와 가 결합 pmf 인 이산 랜덤 변수 인 경우 $Y$ $X$ $Y$ $p_{X,Y}(x,y)$ 마지막 기대에 대한 통지 방법; 의 함수 인하지으로,, 그럼에도 불구하고 그 평균의 평균과 동일.

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$

X

$X$

Y

$Y$

Y

$Y$

사용자가보고있는 것이 일반화 LIE 왼쪽에 보유 있는 내측 기대 함수 인 의 두 확률 변수 및 . 인수는 위에서 설명한 것과 비슷하지만 이제 임의 변수 다른 임의 변수와 같다는 것을 보여 주어야 합니다. 우리는 의 가치를보고 $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ 때 값이 일어나는 . 설명을 생략하면 $E[Y\mid X]$ $X$ $x$ 두 번째 오른쪽은 랜덤 변수의조건부 기대 값에대한 공식입니다(와의 함수). 값으로조절됩니다. 우리는에 값를 갖도록랜덤 변수의 값을 곱하여고정합니다

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$

X

$X$

X

$X$

x

$x$

바이조건의 PMF 값

주어진

, 이러한 모든 조건을 합산.

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

따라서, 각각의 값에 대해 랜덤 변수의 , 랜덤 변수의 값 (앞서 언급 한 함수 ,하지의 ) 랜덤 변수의 값과 동일 즉,이 두 랜덤 변수는 같습니다. 내가 당신에게 거짓말을 하시겠습니까? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— 디립 사르 베이트
소스