«boosting» 태그된 질문

caretR 의 패키지를 통해 그라디언트 부스팅 머신 알고리즘을 실험하고 있습니다 . 소규모 대학 입학 데이터 세트를 사용하여 다음 코드를 실행했습니다. library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

알고리즘을 증폭시키기 위해, 나는 그것들이 꽤 잘 진화했다고 말할 것입니다. 1995 년 초 AdaBoost가 소개 된 후 얼마 지나지 않아 그라디언트 부스팅 머신 (GBM)이었습니다. 최근, 2015 년경 XGBoost가 도입되었으며, 이는 정확하고 과적 합을 처리하며 여러 개의 Kaggle 경쟁의 승자가되었습니다. 2017 년에 Microsoft에서 LightGBM을 도입했으며 XGBoost에 비해 교육 시간이 크게 단축되었습니다. …

14 random-forest  boosting  bagging 

직장에서 반복적으로 언급 된 AdaBoost 분류기에 대해 들었을 때, 작동 방식과 사용시기에 대해 더 나은 느낌을 얻고 싶었습니다. 계속해서 Google에서 찾은 여러 논문과 자습서를 읽었지만 여전히 이해하기 어려운 분류 기준이 있습니다. 내가 본 대부분의 튜토리얼은 AdaBoost에 대해 많은 분류기 중 가장 가중치가 높은 조합을 찾는 것으로 말합니다. 이것은 나에게 의미가 …

14 machine-learning  boosting  adaboost 

gentleboost 라는 부스팅의 변형이 있습니다 . 부드러운 부스팅은 잘 알려진 AdaBoost와 어떻게 다릅니 까?

14 machine-learning  boosting 

실제로, 나는 부분 의존성 플롯으로 보여줄 수있는 것을 이해했다고 생각했지만 매우 간단한 가상의 예를 사용하여 다소 당황했습니다. 다음 코드 청크에서 나는 3 개의 독립 변수 ( a , b , c )와 하나의 종속 변수 ( y )를 생성하고 c 는 y 와 밀접한 선형 관계를 나타내는 반면 a 와 …

14 r  random-forest  boosting  partial-plot 

Enterprise miner를 사용하여 이벤트 속도가 약 1 % 인 데이터 세트에서 그라디언트 향상을 시도하고 있지만 출력을 생성하지 못했습니다. 내 질문은 의사 결정 트리 기반의 접근 방식이므로 그러한 낮은 이벤트에서 그라디언트 부스팅을 사용하는 것이 옳습니까?

14 boosting  unbalanced-classes  rare-events  gradient 

탁월한 통계 모델링 을 읽음으로써 두 문화 (Breiman 2001) 는 전통적인 통계 모델 (예 : 선형 회귀)과 기계 학습 알고리즘 (예 : 배깅, 랜덤 포레스트, 부스트 트리 ...)의 모든 차이점을 파악할 수 있습니다. Breiman은 데이터 모델 (모수)이 통계를 통해 알려진 자연스럽고 모방 된 공식 모델에 의해 관측이 생성된다는 가정에 근거하기 …

13 machine-learning  data-mining  random-forest  boosting  bagging 

앙상블 학습은 단일 학습 가설보다 항상 더 나은 예측 성능을 제공 할 것 같습니다. 그렇다면 왜 항상 사용하지 않습니까? 내 추측은 아마도 계산상의 한계 때문입니까? (그런데도 약한 예측 변수를 사용하므로 잘 모르겠습니다).

13 boosting  ensemble  bagging 

닫은. 이 질문은 주제에 맞지 않습니다 . 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 교차 검증에 대한 주제가 되도록 질문을 업데이트하십시오 . 휴일 7 개월 전 . 강화 된 의사 결정 트리 훈련을위한 좋은 파이썬 라이브러리가 있습니까?

13 python  cart  boosting 

선형 회귀 분석을 위해 범주 형 피쳐를 코딩 할 때 규칙이 있습니다. 더미의 수는 공선 성을 피하기 위해 총 레벨 수보다 하나 작아야합니다. 의사 결정 트리에 대해 비슷한 규칙이 있습니까 (태그, 부스트)? 파이썬의 표준 연습은 n레벨을 n인형 (sklearns ' OneHotEncoder또는 Pandas' pd.get_dummies) 으로 확장 하여 저에게 최적이 아닌 것처럼 보이기 …

13 categorical-data  random-forest  cart  boosting 

머신 러닝을 발견하면 다음과 같은 흥미로운 기술이 나타납니다. 자동 같은 기법 튜닝 알고리즘 grid search, 동일한 "유형"의 서로 다른 알고리즘을 조합하여보다 정확한 결과를 얻을 수 있습니다 boosting. 서로 다른 알고리즘 (동일한 유형의 알고리즘은 아님)의 조합을 통해보다 정확한 결과를 얻을 수 있습니다 stacking. 아마 더 많은 것을 여전히 발견해야 할 것입니다 …

12 machine-learning  algorithms  boosting  stacking  automatic-algorithms 

부스팅 방법이 특이 치에 민감하다는 내용의 많은 기사를 찾았지만 그 이유를 설명하는 기사는 없습니다. 내 경험상 특이 치는 기계 학습 알고리즘에 좋지 않지만 부스팅 방법이 특히 민감한 것으로 분류되는 이유는 무엇입니까? 부스트 트리, 랜덤 포레스트, 신경망, SVM 및 로지스틱 회귀 분석과 같은 간단한 회귀 분석 방법은 특이 치에 대한 민감도 …

12 machine-learning  svm  outliers  cart  boosting 

나는 이것 과 관련된 질문을 할 것 입니다. xgboost에 대한 사용자 정의 손실 함수를 작성하는 예를 찾았 습니다 . loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") # We compute …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Decision Stump를 사용하여 Adaboost를 구현하고 싶습니다. Adaboost를 반복 할 때마다 데이터 세트의 기능만큼 많은 의사 결정을 내릴 수 있습니까? 예를 들어, 24 개의 기능이있는 데이터 세트가있는 경우 각 반복마다 24 개의 의사 결정 스텀프 분류 기가 있어야합니까? 아니면 무작위로 일부 기능을 선택하고 모든 기능 대신 분류기를 만들어야합니까?

12 machine-learning  classification  cart  boosting 

Adaboost 는 일련의 약한 분류기의 선형 조합을 사용하여 강력한 분류기를 생성하려고 시도 한다는 것을 알고 있습니다. 그러나 특정 조건 및 사례 에서 Adaboost와 SVM이 (SVM이 강력한 분류기 임에도 불구하고) 조화롭게 작동한다고 제안하는 논문을 읽었습니다 . 건축 및 프로그래밍 관점에서 그것들이 어떻게 작동하는지 파악할 수 없습니다. 나는 그들이 함께 어떻게 작동하는지 …

11 classification  svm  references  boosting