로지스틱 손실 함수에 대한 그라디언트

나는 이것 과 관련된 질문을 할 것 입니다.

xgboost에 대한 사용자 정의 손실 함수를 작성하는 예를 찾았 습니다 .

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

물류 손실 기능은

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

여기서 는 로그 홀수이고 $P$ $y$ 는 레이블 (0 또는 1)입니다.

내 질문은 : 어떻게 실제 값과 예측 확률 (log-odds로 계산)의 차이와 단순히 그라디언트 (일차 미분)를 얻을 수 preds <- 1/(1 + exp(-preds))있습니까?

— 오 구르 소프
소스

이를 달성하려면 제곱 오류 손실을 사용해야합니다. 귀하의 표기법은 혼란스럽고 게시물에 정의되어 있어야합니다. 경우

다음 예측 위험하다

손실은 당신이 원하는 것입니다. 우리 는

를 사용 하여 로그 홀수를 의미 하지 않기 때문에 혼란 스럽습니다 .

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— AdamO

는 대문자

로 고정되었습니다. 로그 홀수이며 질문에 명확하게 표시되어 있습니다. I 손실 함수 것을 알 구배

인

, 그러나 squred 손실 물류 아니다.

p

$p$

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Ogurtsov 2016 년

"그라데이션 (gradient)"이라고 말할 때, 어떤 그라디언트를 의미합니까? 손실의 구배? 식의 미분이 선형 차이 인 경우식이 2 차 차이 또는 제곱 오차 손실이라는 단순한 수학적 관계입니다.

— AdamO

그렇습니다. 손실의 구배에 관한 것입니다. 손실 함수가 제곱 오차 일 때 간단합니다. 이 경우 손실 함수는 물류 손실 ( en.wikipedia.org/wiki/LogitBoost ) 이며이 함수의 그라디언트와 주어진 코드 예제 사이의 대응 관계를 찾을 수 없습니다.

— Ogurtsov 2016 년

내 질문에 대한 내 대답 : 예, 물류 손실의 기울기가 실제 값과 예측 확률의 차이와 같다는 것을 알 수 있습니다. 여기에 간단한 설명이 있습니다 .

첫째, 로지스틱 손실은 음의 로그 우도 일 뿐이므로 로그 우도에 대한 표현식으로 시작할 수 있습니다 ( 74 페이지 -이 표현식은 음의 로그 우도가 아니라 로그 우도 자체 임).

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

$p_{i}$ $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

Wolfram Alpha를 사용하여 얻은 첫 번째 파생 상품 :

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

$\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

부호를 변경 한 후 로지스틱 손실 함수의 그라디언트에 대한 표현식이 있습니다.

p_{i} - y_{i}

$p_{i}-y_{i}$

— 오 구르 소프
소스

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$