예상되는 예측 오류-도출

특히 2.11 및 2.12의 유도 (컨디셔닝, 포인트 단위 최소 단계)에 따라 아래의 예상 예측 오류 (ESL)의 도출을 이해하는 데 어려움을 겪고 있습니다. 모든 포인터 또는 링크는 대단히 감사합니다.

아래는 ESL pg에서 발췌 한 내용입니다. 처음 두 방정식은 순서대로 방정식 2.11과 2.12입니다.

하자 실제 값 랜덤 입력 벡터와 나타내고 조인트 분포와 실제 평가 된 임의의 출력 변수 . 입력 의 주어진 값 을 예측하기위한 함수 를 찾습니다 . 이 이론은 예측 오류를 페널티 하기 위해 손실 함수 필요로하며, 가장 일반적이고 편리한 제곱 오류 손실입니다 . . 이는 를 선택하는 기준으로 이어집니다 . $X \in \mathbb{R}^p$ $Y \in \mathbb{R}$ $\text{Pr}(X,Y)$ $f(X)$ $Y$ $X$ $L(Y,f(X))$ $L(Y,f(X))=(Y-f(X))^2$ $f$

\begin{aligned} EPE (f) & = E (Y - f (X))^{2} \\ = \int [y - f (x)]^{2} Pr (d x, d y) \end{aligned}

$\begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split}$

예상 (제곱) 예측 오류 $X$ 컨디셔닝하여 EPE를 다음과 같이 쓸 수 있습니다.

EPE (f) = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X)

$\text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X)$

우리는 EPE를 포인트 단위로 최소화하면 충분하다는 것을 알았습니다.

f (x) = {argmin}_{c} E_{Y | X} ([Y - c]^{2} | X)

$f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X)$

해결책은

f (x) = E (Y | X = x)

$f(x) = \text{E}(Y|X=x)$

회귀 함수 라고도하는 조건부 기대

regression prediction error

— 사용자 1885116
소스

총 기대 법칙 에 관한 Wikipedia 기사의 첫 번째 방정식에서 와 를 교환 하면 (2.9)와 (2.11)이 같습니다. 증거를 보려면 해당 기사를 읽으십시오. (2.12)는 EPE를 최소화하기 위해 가 선택되어야 한다는 것을 이해하면 즉각적 이다.

X

$X$

Y

$Y$

f

$f$

— whuber

참고 : 통계 학습의 요소

— Zhubarb

이 책을 읽는 사람들을 위해,이 체크 아웃 포괄적 인 메모를 Weathermax와 엡스타인에 의해

— Dodgie

@Dodgie 그 링크는 죽었다 : (

— Matthew Drury

-) @MatthewDrury 다행히 "Weathermax와 엡스타인 통계"의 인터넷 검색 A는 최초의 결과로 링크를 반환 waxworksmath.com/Authors/G_M/Hastie/WriteUp/...

— Dodgie

답변:

\begin{aligned} E P E (f) & = \int [y - f (x)]^{2} P r (d x, d y) \\ = \int [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x) p (y | x) d x d y \\ = \int_{x} (\int_{y} [y - f (x)]^{2} p (y | x) d y) p (x) d x \\ = \int_{x} (E_{Y | X} ([Y - f (X)]^{2} | X = x)) p (x) d x \\ = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X = x) \end{aligned}

$\begin{align*} EPE(f) &= \int [y - f(x)]^2 Pr(dx, dy) \\ &= \int [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x)p(y|x)dxdy \\ &= \int_x\left( \int_y [y - f(x)]^2p(y|x)dy \right)p(x)dx \\ &= \int_x \left( E_{Y|X}([Y - f(X)]^2|X = x) \right) p(x)dx\\ &= E_{X}E_{Y|X}([Y - f(X)]^2| X = x) \end{align*}$

— 사용자
소스

나는 당신이 쓴 것을 이해하지만 질문에 표시된 파생으로 인해 OP가 혼란 스럽다면 귀하의 답변을 이해할 것이라고 생각하십니까? 물론, 나는 그 질문에 나타난 파생물을 이미 이해했습니다.

— Mark L. Stone

나는 같은 질문으로 Google에서 여기에 왔으며 실제로이 파생물이 내가 필요한 것임을 정확히 발견했습니다.

— 세미콜론과 덕트 테이프

@ MarkL.Stone-이것은 어리석은 질문 일 수 있지만 와 그것이 가되는 방법을 설명 할 수 있습니까? 덕분에 무리

P r (d x, d y)

$Pr(dx,dy)$

p (x, y) d x d y

$p(x,y)dxdy$

— 자비에 BOURRET Sicotte

전자가 의미하는 것은 후자입니다. dP (x, y) 또는 dF (x, y)를 대신 사용하는 것이 더 일반적이라고 생각합니다. 1D에서 종종 f (x) dx를 의미하는 dF (x)를 볼 수 있습니다. 여기서 f (x)는 확률 밀도 함수이지만, 표기법은 이산 확률 질량 함수 (요약) 또는 연속 밀도와 불연속 확률 질량.

— Mark L. Stone

(마지막 공식) 라고 말하는 것이 더 정확하지 않습니까?

E_{X} (E_{Y | X} ([Y - f (X)]^{2} | X = x))

$E_{X}(E_{Y|X}([Y - f(X)]^2| X = x))$

— D1X

식 (2.11)은 다음과 같은 작은 평등의 결과입니다. 임의의 두 변수 및 및 모든 함수 $Z_1$ $Z_2$ $g$

E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) = E_{Z_{2}} (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2}))

$E_{Z_1, Z_2} (g(Z_1, Z_2)) = E_{Z_2}(E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2))$

표기법 은 공동 분포에 대한 기대치 입니다. 표기법 은 본질적으로 " 가 고정 된 것처럼 의 조건부 분포에 대해 적분 "이라고 표시합니다. $E_{Z_1, Z_2}$ $E_{Z_1 \mid Z_2}$ $Z_1$ $Z_2$

과 가 관련 정의를 풀기 만하면 불연속 랜덤 변수 인 경우이를 쉽게 확인할 수 있습니다. $Z_1$ $Z_2$

\begin{aligned} E_{Z_{2}} & (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2})) \\ = E_{Z_{2}} (\sum_{z_{1}} g (z_{1}, Z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2})) \\ = \sum_{z_{2}} (\sum_{z_{1}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2})) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2}) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1}, Z_{2} = z_{2}) \\ = E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) \end{aligned}

$\begin{align} E_{Z_2} & (E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2)) \\ &= E_{Z_2} \left( \sum_{z_1} g(z_1, Z_2) Pr(Z_1 = z_1 \mid Z_2 ) \right) \\ &= \sum_{z_2} \left( \sum_{z_1} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2 ) \right) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1, Z_2 = z_2 ) \\ &= E_{Z_1, Z_2} (g(Z_1, Z_2)) \end{align}$

연속적인 사건은이 논증의 한계로 비공식적으로 보거나, 모든 측정 이론적 도파가 정해지면 공식적으로 검증 될 수있다.

응용 프로그램을 해제하려면 , 및 취하십시오 . 모든 것이 정확하게 정렬됩니다. $Z_1 = Y$ $Z_2 = X$ $g(x, y) = (y - f(x))^2$

주장 (2.12)은 최소화를 고려하도록 요구한다

E_{X} E_{Y ∣ X} (Y - f (X))^{2}

$E_X E_{Y \mid X} (Y - f(X))^2$

여기서 원하는대로 를 자유롭게 선택할 수 있습니다 . 다시 개별 케이스에 초점을 맞추고 위의 풀림에 반쯤 떨어지면 우리는 최소화하고 있음을 알 수 있습니다 $f$

\sum_{x} (\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)) P r (X = x)

$\sum_{x} \left( \sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x) \right) Pr(X = x)$

큰 괄호 안에있는 모든 것은 음이 아니며, 소환자를 개별적으로 최소화하여 음이 아닌 양의 합계를 최소화 할 수 있습니다. 문맥 상 이것은 최소화하기 위해 를 선택할 수 있다는 것을 의미합니다 $f$

\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)

$\sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x)$

각 이산 값 에 대해 개별적으로 . 이것은 ESL이 주장하는 내용의 내용이며, 더 멋진 표기법으로 만 제공됩니다. $x$

— 매튜 드 루리
소스

이 책의 일부는 이해하기 어려운 방식으로 표현되며, 특히 통계에 대한 배경 지식이없는 사람들에게 유용합니다.

나는 그것을 간단하게 만들려고 노력하고 당신이 혼란을 제거 할 수 있기를 바랍니다.

청구 1 (평활) $E(X) = E(E(X|Y)),\forall X,Y$

증명 : E (Y)는 상수이지만 E (Y | X)는 X에 따라 임의의 변수입니다.

\begin{aligned} E (E (X | Y)) & = \int E (X | Y = y) f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) d x f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) f_{Y} (y) d x d y \\ = \int \int x f_{X Y} (x, y) d x d y \\ = \int x (\int f_{X Y} (x, y) d y) d x \\ = \int x f_{X} (x) d x = E (X) \end{aligned}

$\begin{align} E(E(X|Y)) &= \displaystyle\int E(X|Y=y) f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) dx f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) f_Y(y) dx dy \\ &= \int \int x f_{XY} (x,y) dx dy \\ &= \int x \left(\int f_{XY} (x,y) dy \right) dx \\ &= \int x f_X(x) dx = E(X) \end{align}$

청구 2 : $E(Y - f(X))^2 \geq E(Y - E(Y|X))^2, \forall f$

증명 :

\begin{aligned} E ((Y - f (X))^{2} | X) & = E (([Y - E (Y | X)] + [E (Y | X) - f (X)])^{2} | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 E ((Y - E (Y | X)) (E (Y | X) - f (X)) | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 (E (Y | X) - f (X)) E (Y - E (Y | X)) | X) \\ (since E (Y | X) - f (X) is constant given X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) ( use Claim 1) \\ \geq E ((Y - E (Y | X))^{2} | X) \end{aligned}

$\begin{align} E((Y - f(X))^2 | X) &= E( ([Y - E(Y|X)] + [E(Y|X) - f(X)])^2|X) \\ &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 E((Y - E(Y|X))(E(Y|X) - f(X))|X) \\ &=E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 (E(Y|X) - f(X)) E(Y - E(Y|X))|X) \\[5pt] &( \text{ since } E(Y|X) - f(X) \text{ is constant given } X) \\[5pt] &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) \text{ ( use Claim 1 }) \\ &\geq E((Y-E(Y|X))^2 |X) \end{align}$

위의 방정식의 양쪽을 모두 기대하면 주장 2 (QED)가됩니다.

따라서 최적의 f는 $f(X) = E(Y|X)$

— 탄탕
소스