«xgboost» 태그된 질문

클래스 불균형 데이터가 있으며 xgboost를 사용하여 증폭 된 머릿단의 하이퍼 파라미터를 조정하고 싶습니다. 질문 xgboost에 대해 gridsearchcv 또는 randomsearchcv에 해당하는 것이 있습니까? 그렇지 않다면 xgboost의 매개 변수를 조정하는 권장 방법은 무엇입니까?

68 machine-learning  cross-validation  xgboost  boosting 

다음과 같은 GBDT 모델 제품군에는 여러 가지 구현이 있습니다. GBM XGBoost 라이트 GBM Catboost. 이 다른 구현들 사이 의 수학적 차이점은 무엇입니까 ? Catboost는 이 벤치 마크 에 따라 기본 매개 변수 만 사용하더라도 다른 구현보다 성능이 뛰어나지 만 여전히 느립니다. 내 생각에 catboost는 희미한 변수를 사용하지 않으므로 각 (범주 …

33 boosting  xgboost 

예를 들어, 번째 반복 에서 XGBoost 모델의 목적 함수를 사용하십시오 .ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) 여기서 은 손실 함수이고, 는 번째 트리 출력이고 \ Omega 는 정규화입니다. 빠른 계산을위한 (다수) 주요 단계 중 하나는 근사치입니다.ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), 여기서 gigig_i 및 hihih_i 는 손실 함수의 1 차 및 2 차 미분입니다. 내가 요구하는 것은 …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

매우 불균형 한 데이터 집합이 있습니다. 튜닝 조언 을 따르고 사용 scale_pos_weight하려고하지만 어떻게 튜닝 해야하는지 잘 모르겠습니다. 나는 그것을 볼 수 있습니다 RegLossObj.GetGradient: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight 양성 샘플의 기울기가 더 영향을 미칩니다. 그러나 xgboost paper 에 따르면 그라디언트 통계는 항상 특정 트리의 특정 노드 인스턴스 내에서 …

26 unbalanced-classes  xgboost 

xgboost에서 min_child_weight 매개 변수 의 정의 는 다음과 같습니다. 어린이에게 필요한 인스턴스 가중치 (헤 시안)의 최소 합계. 트리 분할 단계에서 인스턴스 가중치의 합계가 min_child_weight보다 작은 리프 노드가 생성되면 빌드 프로세스는 추가 분할을 포기합니다. 선형 회귀 모드에서 이는 단순히 각 노드에 있어야하는 최소 인스턴스 수에 해당합니다. 알고리즘이 클수록 더 보수적입니다. 나는 …

23 machine-learning  xgboost  hessian 

XGBoost가 어떻게 작동하는지 이해하려고합니다. Python sklearn에서 그라디언트 향상 트리가 어떻게 작동하는지 이미 알고 있습니다. 분명하지 않은 것은 XGBoost가 동일한 방식으로 작동하지만 더 빠르거나 파이썬 구현과 근본적인 차이점이 있는지입니다. 이 논문을 읽을 때 http://learningsys.org/papers/LearningSys_2015_paper_32.pdf XGboost에서 나온 최종 결과가 Python 구현에서와 같은 것처럼 보이지만 주요 차이점은 XGboost가 각 회귀 트리에서 만들 수있는 …

20 scikit-learn  boosting  gbm  xgboost 

RandomForest, DecisionTrees, NaiveBayes, SVM (커널 = 선형 및 rbf), KNN, LDA 및 XGBoost와 같은 많은 알고리즘을 사용하고 있습니다. SVM을 제외하고는 모두 매우 빠릅니다. 그때는 기능 확장이 더 빨리 작동해야한다는 것을 알게되었습니다. 그런 다음 다른 알고리즘에 대해서도 동일한 작업을 수행해야하는지 궁금해지기 시작했습니다.

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

나무 를 꾸리 거나 부스팅 하는 아이디어에 대한 많은 블로그 게시물, YouTube 비디오 등이 있습니다. 내 일반적인 이해는 각각에 대한 의사 코드는 다음과 같습니다. 포장 : 표본의 x %와 특징의 y %의 N 개의 랜덤 표본 추출 각 N에 모델 (예 : 의사 결정 트리)을 적합 각 N으로 예측 최종 …

17 cart  boosting  xgboost  bagging 

대부분 범주 형 기능에 이진 분류 문제가 있다고 가정합니다. 비선형 모델 (예 : XGBoost 또는 Random Forests)을 사용하여 학습합니다. 여전히 다중 공선성에 대해 걱정해야합니까? 왜? 위의 답변이 사실이라면, 이러한 유형의 비선형 모델을 사용하고 있다는 점을 고려하여 어떻게 싸워야합니까?

13 classification  random-forest  multicollinearity  xgboost 

최근에 XGBoost 알고리즘을 검토 한 결과이 알고리즘이 교육 단계에서 누락 된 데이터 (대치없이)를 처리 할 수 ​​있음을 알았습니다. XGboost가 새로운 관측치를 예측하는 데 사용되거나 누락 된 데이터를 대치해야 할 때 누락 된 데이터 (대치없이)를 처리 할 수 ​​있는지 궁금합니다. 미리 감사드립니다.

12 machine-learning  missing-data  data-imputation  xgboost 

XGBoost에서 선형 목적 함수 및 선형 부스트를 구현하는 방법을 알고 있습니다. 내 구체적인 질문은 알고리즘이 잔차 (또는 음의 구배)에 적합 할 때 각 단계에서 하나의 특징 (예 : 일 변량 모델) 또는 모든 특징 (다변량 모델)을 사용합니까? XGBoost의 선형 부스트에 대한 문서를 참조하십시오. 편집 : 'booster'매개 변수를 'gblinear'로 설정하여 XGBoost에서 …

9 regression  machine-learning  boosting  xgboost