«boosting» 태그된 질문

이것은 scikit GradientBoosting의 이항 이탈 손실 함수입니다. def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() * …

11 machine-learning  scikit-learn  boosting  loss-functions 

분류 작업 및 특히 Adaboost에 대한 부스팅 알고리즘에 대해 조금 읽었습니다. Adaboost의 목적은 여러 "약한 학습자"를 대상으로하고 훈련 데이터에 대한 일련의 반복을 통해 분류자를 밀어 모델 (들)이 반복적으로 실수를 저지르는 클래스를 예측하는 법을 배우도록하는 것입니다. 그러나 내가 한 많은 독서가 왜 의사 결정 트리를 약한 분류기로 사용했는지 궁금합니다. 특별한 이유가 …

11 machine-learning  classification  algorithms  boosting 

Random Forests 또는 Extreme Gradient Boosting (XGBoost)과 같은 알고리즘을 사용할 때 각 예측 값에 대한 신뢰 점수를 얻는 방법이 있습니까? 이 신뢰 점수의 범위는 0에서 1까지이며 특정 예측에 대해 내가 얼마나 확신하는지 보여 줍니다 . 인터넷에서 신뢰에 대해 찾은 것에서 일반적으로 간격으로 측정됩니다. 다음은 라이브러리의 confpred함수를 사용하여 계산 된 신뢰 …

11 r  regression  random-forest  prediction  boosting 

논문 Random Forests (Breiman, 1999)의 7 장 에서 저자는 "Adaboost는 랜덤 포레스트"라고 추측합니다. 누구든지 이것을 증명하거나 반증 했습니까? 이 게시물 1999 년을 증명하거나 반증하기 위해 무엇을 했습니까?

10 machine-learning  random-forest  boosting 

간단한 예제를 위해 두 개의 선형 회귀 모델이 있다고 가정합니다. 모델 1은이 세 가지 예측, x1a, x2b, 및x2c 모형 2에는 모형 1의 예측 변수 3 개와 추가 예측 변수 2 개가 x2a있으며x2b 설명 된 모집단 분산이 모형 1의 경우 ρ2( 1 )ρ(1)2\rho^2_{(1)} 이고 모형 2의 경우 모집단 회귀 방정식이 있습니다. …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Friedman이 제안한 그라디언트 트리 부스팅은 J터미널 노드 (= 잎) 가있는 의사 결정 트리 를 기본 학습자로 사용합니다. 정확히 J노드를 가진 나무를 키우는 방법에는 여러 가지가 있습니다 . J그래디언트 트리 부스팅을 위해 정확히 터미널 노드를 사용 하여 트리를 키우는 방법이 확립 되어 있습니까? R gbm패키지 의 트리 성장 절차 를 살펴 …

10 r  cart  boosting 

XGBoost에서 선형 목적 함수 및 선형 부스트를 구현하는 방법을 알고 있습니다. 내 구체적인 질문은 알고리즘이 잔차 (또는 음의 구배)에 적합 할 때 각 단계에서 하나의 특징 (예 : 일 변량 모델) 또는 모든 특징 (다변량 모델)을 사용합니까? XGBoost의 선형 부스트에 대한 문서를 참조하십시오. 편집 : 'booster'매개 변수를 'gblinear'로 설정하여 XGBoost에서 …

9 regression  machine-learning  boosting  xgboost 

질문 : 부스트 회귀 트리 (BRT)와 일반화 된 부스트 모델 (GBM)의 차이점은 무엇입니까? 그것들을 서로 바꿔서 사용할 수 있습니까? 하나는 다른 형태입니까? Ridgeway에서 Friedman이 이전에 "Gradient Boosting Machine"(GBM)으로 제안한 내용을 설명하기 위해 "GBM (Generalized Boosted Regression Models)"이라는 문구를 사용한 이유는 무엇입니까? 이 두 약어는 동일하지만 동일한 내용을 설명하지만 다른 구에서 …

9 machine-learning  boosting  gbm 

랜덤 포레스트에서 각 트리는 고유 한 부 스트랩 데이터 샘플에서 병렬로 성장합니다. 각 부 스트랩 샘플에는 고유 한 관측치의 약 63 %가 포함될 것으로 예상되므로, 관측치의 약 37 %가 트리 테스트에 사용될 수 있습니다. 이제 확률 적 그라디언트 부스팅에서는 RF와 비슷한 추정치가있는 것 같습니다.오 오비e r r o rOOBerrorOOB_{error} bag.fraction이 …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

부스팅 트리 모델에는 3 개의 튜닝 매개 변수가 있다는 것을 알고 있습니다. 트리 수 (반복 횟수) 수축 매개 변수 분할 수 (각 구성 요소의 크기) 내 질문은 : 각 튜닝 매개 변수에 대해 최적의 값을 어떻게 찾아야합니까? 그리고 어떤 방법? 수축 매개 변수와 트리 수 매개 변수는 함께 작동합니다. 즉, …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

4 가지 가능한 이벤트의 주파수 샘플이 하나 있다고 가정합니다. Event1 - 5 E2 - 1 E3 - 0 E4 - 12 내 이벤트의 예상 확률이 있습니다. p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 내 네 가지 사건의 관측 빈도의 합으로 (18) 사건의 예상 빈도를 올바르게 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom