Scikit 이항 편차 손실 함수

이것은 scikit GradientBoosting의 이항 이탈 손실 함수입니다.

   def __call__(self, y, pred, sample_weight=None):
        """Compute the deviance (= 2 * negative log-likelihood). """
        # logaddexp(0, v) == log(1.0 + exp(v))
        pred = pred.ravel()
        if sample_weight is None:
            return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred))
        else:
            return (-2.0 / sample_weight.sum() *
                    np.sum(sample_weight * ((y * pred) - np.logaddexp(0.0, pred))))

이 손실 함수는 0의 클래스와 1의 클래스간에 유사하지 않습니다. 누구나 이것이 어떻게 간주되는지 설명 할 수 있습니다.

예를 들어, 샘플 무게가없는 경우 클래스 1의 손실 함수는

-2(pred - log(1 + exp(pred))

0 급 대

-2(-log(1+exp(pred))

이 두 도표는 비용면에서 비슷하지 않습니다. 누구든지 나를 이해하도록 도울 수 있습니까?

이 구현을 이해하려면 두 가지 관찰이 필요합니다.

첫 번째는 즉 pred입니다 되지 는 로그 확률이고, 확률.

두 번째는 이항 이탈의 표준 대수 조작입니다. 하자 로그 확률 수, 무슨 호출 . 그런 다음 관측치의 이항 이탈의 정의는 ( 배까지 )$P$sklearnpred$-2$

$$y \log(p) + (1-y) \log(1 - p) = \log(1 - p) + y \log \left( \frac{p}{1-p} \right)$$

이제 및 (빠른 확인은 이들을 합산하는 것임) 당신의 머리에, 당신은 얻을 것이다 ). 그래서$p = \frac{e^{P}}{1 + e^{P}}$$1-p = \frac{1}{1 + e^{P}}$$1$

$$\log(1-p) = \log \left( \frac{1}{1 + e^{P}} \right) = - \log(1 + e^{P})$$

과

$$\log \left( \frac{p}{1-p} \right) = \log ( e^{P} ) = P$$

따라서 이항 편차는

$$y P - \log( 1 + e^{P} )$$

어떤 방정식 sklearn을 사용 하고 있습니까 ?