불균형 데이터 세트에 대해 xgboost에서 scale_pos_weight의 올바른 사용법은 무엇입니까?

매우 불균형 한 데이터 집합이 있습니다. 튜닝 조언 을 따르고 사용 scale_pos_weight하려고하지만 어떻게 튜닝 해야하는지 잘 모르겠습니다.

나는 그것을 볼 수 있습니다 RegLossObj.GetGradient:

if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight

양성 샘플의 기울기가 더 영향을 미칩니다. 그러나 xgboost paper 에 따르면 그라디언트 통계는 항상 특정 트리의 특정 노드 인스턴스 내에서 로컬로 사용 됩니다 .

1. 노드의 컨텍스트 내에서 후보 분할의 손실 감소를 평가
2. 리프 노드의 컨텍스트 내에서 해당 노드에 주어진 가중치를 최적화

따라서 좋은 점을 미리 알 수있는 방법이 없습니다 scale_pos_weight. 긍정적 인 인스턴스와 부정적인 인스턴스 사이의 비율이 1 : 100 인 노드와 1 : 2 비율의 노드의 경우에는 매우 다릅니다.

힌트가 있습니까?

일반적으로 Scale_pos_weight는 음수 클래스 대 양수 클래스의 비율입니다. 데이터 집합에 음수 클래스에 대한 90 개의 관측치와 양수 클래스에 대한 10 개의 관측치가 있다고 가정하면 scale_pos_Weight의 이상적인 값은 9 여야합니다. 다음 링크를 확인할 수 있습니다. http://xgboost.readthedocs.io/en/latest/parameter.html

모든 문서는 다음과 같아야한다고 말합니다.

scale_pos_weight = count(negative examples)/count(Positive examples)

실제로는 꽤 잘 작동하지만 데이터 세트의 균형이 매우 불균형 인 경우보다 보수적 인 것을 사용하는 것이 좋습니다.

scale_pos_weight = sqrt(count(negative examples)/count(Positive examples)) 

이것은 긍정적 인 예의 곱셈의 효과를 매우 높은 가중치로 제한하는 데 유용합니다.

귀하의 질문과 좌절을 이해하지만 이것이 분석적으로 계산 될 수있는 것이 확실하지 않습니다. 대부분의 하이퍼 매개 변수에서와 같이 교차 검증을 @ user2149631로 사용하여 데이터에 대해 좋은 설정을 경험적으로 결정해야합니다 제안했다. Xgboost와 함께 SelectFPR 및 sklearn API를 사용하여 기능 선택을 통해 XGBoost에 대한 FPR을 낮추고 scale_pos_weight를 0과 1.0 사이에서 추가로 조정했습니다. O.9는 데이터에 따라 YMMV와 같이 잘 작동하는 것처럼 보입니다. 문서를 살펴보면 XGboost에 보낼 때 각 데이터 포인트에 개별적으로 가중치를 지정할 수도 있습니다. sklearn 래퍼가 아닌 API를 사용해야합니다. 이렇게하면 한 세트의 데이터 포인트를 다른 세트보다 훨씬 높게 가중치를 적용 할 수 있으며 사용하는 부스팅 알고리즘에 영향을줍니다.

나는 또한이 딜레마에 걸려 최고의 해결책을 찾고있었습니다. 그러나 분류기에 가장 적합한 매개 변수 조정을 위해 Grid Search (Sklearn의 GridSearchCV)와 같은 방법을 사용하는 것이 좋습니다. 그러나 데이터 집합의 불균형이 높으면 샘플링 방법 (특히 랜덤 오버 샘플링 및 SMOTE 오버 샘플링 방법)을 고려하고 양수 및 음수 클래스 비율이 다른 데이터 샘플에서 앙상블을 모델링하는 것이 좋습니다. 다음은 불균형 데이터 세트 처리에 대한 훌륭하고 유용한 (거의 포괄적 인) 자습서입니다.

https://www.analyticsvidhya.com/blog/2017/03/imbalanced-classification-problem/