xgboost의 대략적인 스플릿 포인트 제안을 이해하는 데 도움이 필요합니다

배경:

에 xgboost 반복 시도 트리에 맞게 F t을 온통 n 개의 목적은 다음 최소화 예 :$t$$f_t$$n$

$$\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)]$$

여기서 일차 및 이전 최상의 추정을 통해 2 차 유도체 (Y) (반복에서 t - 1 ) :$g_i, h_i$$\hat{y}$$t-1$

• $g_i=d_{\hat{y}}l(y_i, \hat{y})$
• $h_i=d^2_{\hat{y}}l(y_i, \hat{y})$

그리고 우리의 손실 함수입니다.$l$

---

질문은 (마침내) :

빌드 하고 특정 스플릿에서 특정 기능 k 를 고려할 때 다음 휴리스틱을 사용하여 일부 스플릿 후보 만 평가합니다. 모든 예제를 x k로 정렬하고 정렬 된 목록을 통과 한 다음 두 번째 미분 h i를 합 칩니다 . 합계가 ϵ 이상 변경 될 때만 분할 후보를 고려합니다 . 왜 그런 겁니까???$f_t$$k$$x_k$$h_i$$\epsilon$

그들이주는 설명은 나를 회피합니다.

그들은 우리가 이전 방정식을 다음과 같이 다시 작성할 수 있다고 주장합니다.

$$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - g_i/h_i]^2 + constant$$

그리고 나는 대수를 따르지 않습니다-왜 그것이 같은지 보여줄 수 있습니까?

그리고 그들은 "이것은 레이블 와 weight h i " 로 정확하게 가중 된 제곱 손실입니다 . ..$gi/hi$$h_i$

포럼이 너무 길면 감사합니다.

자세한 내용은 다루지 않겠지 만 다음은 아이디어를 이해하는 데 도움이됩니다.

$\{x_1, \cdots, x_{100}\}$$10$$\{x_{10}, x_{20}, \cdots, x_{90}\}$$\epsilon$$\sim \epsilon N$$\epsilon = 0.01$$\sim 100$$\{1\%, 2\%, ..., 99\%\}$$\epsilon$$\epsilon$

$10$$10\%$$10\%$

@Winks 답변에 대수 부분을 추가하면됩니다.

두 번째 방정식은 다음과 같이 부호가 반전되어야합니다.

$$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - (-g_i/h_i)]^2 + constant = \sum_{i=1}^n\frac{1}{2}h_i[f_t^2(x_i) + 2\frac{f_t(x_i)g_i}{h_i} + (g_i/h_i)^2] = \sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i) + \frac{gi^2}{2h_i}]$$

$g_i$$h_i$$f_t$

$-gi/hi$$h_i$

크레딧은 저의 팀으로부터 Yaron과 Avi에게 설명을 해주었습니다.

그리고 그들은 "이것은 gi / higi / hi와 weights hihi라는 레이블로 정확하게 가중 된 제곱 손실"이라고 주장합니다-나는 동의하지만, 그들이 사용하는 스플릿 후보 알고리즘과 어떻게 관련이 있는지 이해하지 못합니다. .

1. $w$$t-t_h$$w* = -gi/hi$$(ft - -(gi/hi))^2$

2. $w*$$-avg(gi)/const$$-sigma(gi)/sigma(hi)$$w*$$hi$$gi$$w*$$hi$

$hi$