백분위 수 손실 함수

11

문제에 대한 해결책 :

min_{m} E [| m - X |]

$\min_{m} \; E[|m-X|]$

의 중앙값으로 잘 알려져 $X$ 있지만 손실 함수는 다른 백분위 수에 어떤 모양입니까? 예 : X의 25 번째 백분위 수는 다음에 대한 솔루션입니다.

min_{m} E [L (m, X)]

$\min_{m} \; E[ L(m,X) ]$

이 경우 $L$ 은 무엇입니까 ?

expected-value loss-functions

— 캠 데이비슨 필론
소스

12

하자 $I$ 지표 함수가 될 : 그것은 동일 $1$ 실제 인수 및 $0$ , 그렇지 않으면. 픽업 $0\lt\alpha\lt 1$ 및 집합

Λ_{α} (x) = α x I (x \geq 0) - (1 - α) x I (x < 0) .

$\Lambda_\alpha(x)=\alpha x\, I(x\ge 0) - (1-\alpha)x\, I(x\lt 0).$

이 그림은 플롯 $\Lambda_{1/5}$ 합니다. 그것은 사용자가 동일한 슬로프 측정하기 위해 정확한 종횡비를 사용 $-4/5$ 좌측 및 $+1/5$ 오른쪽에있다. 이 경우 위의 여행 $0$ 크게 아래의 여행에 비해 downweighted된다 $0$ .

이는 가중치 값 때문에 시도 자연 함수 초과하는 과 다르게 미만이다 . 관련 손실을 계산 한 다음 최적화합시다. $x$ $0$ $x$ $0$

필기구 분포 함수에 대한 및 설정 , 연산 $F$ $X$ $L_\alpha(m,x) = \Lambda_\alpha(x-m)$

\begin{aligned} E_{F} (L_{α} (m, X)) & = \int_{R} Λ_{α} (x - m) d F (x) \\ = α \int_{R} I (x \geq m) (x - m) d F (x) - (1 - α) \int_{R} (x - m) I (x < m) d F (x) \\ = α \int_{m}^{\infty} (x - m) d F (x) - (1 - α) \int_{- \infty}^{m} (x - m) d F (x) . \end{aligned}

$\eqalign{ \mathbb{E}_F(L_\alpha(m,X))&=\int_\mathbb{R} \Lambda_\alpha(x-m)dF(x)\\ &=\alpha\int_\mathbb{R} I(x\ge m)(x-m) dF(x) - (1-\alpha)\int_\mathbb{R} (x-m)I(x\lt m) dF(x)\\ &=\alpha\int_m^\infty(x-m)dF(x) - (1-\alpha)\int_{-\infty}^m(x-m) dF(x). }$

그림 2

마찬가지로 표준 정규 분포와 그림이 변화 , 총 확률 가중 영역 도시된다. (곡선은 의 그래프입니다 .) 의 오른쪽 그림 은 양의 값을 내리는 효과를 가장 명확하게 보여줍니다. 원점에 대해 대칭 적이어야합니다. 중간 그림은 최적의 것으로, 파란색 잉크의 총량 ( )은 가능한 한 작습니다. $m$ $F$ $\Lambda_{1/5}$ $\Lambda_{1/5}(x-m)dF(x)$ $m=0$ $\mathbb{E}_F(L_{1/5}(m,X))\$

이 기능은 차별화 할 수 있으므로 임계점을 검사하여 극한값을 찾을 수 있습니다. 대한 미분을 구하기 위해 연쇄 법칙과 미적분학 기본 정리를 적용 하면 $m$

\begin{aligned} \frac{\partial}{\partial m} E_{F} (L_{α} (m, X)) & = α (0 - \int_{m}^{\infty} d F (x)) - (1 - α) (0 - \int_{- \infty}^{m} d F (x)) \\ = F (m) - α . \end{aligned}

$\eqalign{ \frac{\partial}{\partial m}\mathbb{E}_F(L_\alpha(m,X))&=\alpha\left(0-\int_m^\infty dF(x)\right) - (1-\alpha)\left(0 - \int_{-\infty}^m dF(x)\right)\\ &= F(m) - \alpha. }$

연속 분포의 경우 항상 해의 을 가지며 , 정의 는 모든 Quantile입니다 . 불연속 분포를 들어, 요청이 용액을 가지고 있지만, 적어도 하나있을 것이다되지 있는 모든 및 모든 : (또한 정의에 따라) 의 Quantile입니다 . $m$ $\alpha$ $X$ $m$ $F(x)-\alpha\lt 0$ $x\lt m$ $F(x)-\alpha\ge 0$ $x\ge m$ $\alpha$ $X$

마지막으로, 및 이기 때문에 나 가이 손실을 최소화 하지는 않습니다 . 가 계산서에 맞는다는 것을 보여 주면서 중요한 포인트의 검사를 소진합니다 . $\alpha\ne 0$ $\alpha\ne 1$ $m\to-\infty$ $m\to\infty$ $\Lambda_\alpha$

특별한 경우, 는 질문. $\mathbb{E}_F(2L_{1/2}(m,X)) = \mathbb{E}_F\left(\left|m-x\right|\right)$

— 우버
소스

예상 손실을 보여 주려는 노력이 올바른 지점 의해 최소화된다는 것에 감사드립니다 . 나는 내 자신의 대답을 위해 스스로 그렇게하는 방법을 궁금해했지만 귀하의 설명은 좋습니다. (+1)

m

$m$

2

당신은 그림의 가치가 1000 단어임을 증명했습니다. 감사합니다 @ whuber =)

— Cam.Davidson.Pilon

8

이 기사 에는 답이 있습니다. 구체적으로, 손실 함수는 빼기를 통해 주변의 다른 확률 질량 영역을 '밸런싱 아웃'하는 것으로 해석 할 수 있습니다 . 중앙값의 질량 영역은 같습니다 : 손실 함수를 (상수는 무시할 수있는) 비례로 는 중간 값에 대한 원하는 결론을 제공합니다.

L_{0.25} (m, X) = | (X - m) (0.25 - 1 {X > m}) | .

$L_{0.25}(m,X) = \left| \left( X - m \right) \left(0.25 - \mathbf{1}\{ X > m \} \right) \right|.$

0.25

$0.25$

0.25 - 1 {X > m}

$0.25 - \mathbf{1}\{ X > m \}$

L_{0.5} (m, X) = | (X - m) (0.5 - 1 {X > m}) | = | (X - m) \times \pm 0.5 |,

$L_{0.5}(m,X) = \left| \left( X - m \right) \left(0.5 - \mathbf{1}\{ X > m \} \right) \right| = \left| \left( X - m \right) \times \pm 0.5 \right|,$

| X - m |,

$\left| X - m\right|,$

(+1) 잘 했어요! 그 위키피디아 기사를 어디에서 찾아야하는지 분명하지 않았다. Quantile 회귀를 생각해야했습니다.

— whuber

감사합니다, @Matthew, 이것은 훌륭한 발견입니다. 해석의 균형을 맞추는 것을 좋아합니다

— Cam.Davidson.Pilon

여전히 이해하지 못합니다. 어디에서 왔습니까? X가 Quantile보다 높으면 가중치가 0.75, 그렇지 않으면 0.25? 그냥?

| (0.25) - 1 X > m) |

$|(0.25)-\mathbb{1}{X>m})|$

(X - m)

$(X-m)$

— IcannotFix이