랜덤 포레스트의 합법적 인 후속 알고리즘은 무엇입니까?

알고리즘을 증폭시키기 위해, 나는 그것들이 꽤 잘 진화했다고 말할 것입니다. 1995 년 초 AdaBoost가 소개 된 후 얼마 지나지 않아 그라디언트 부스팅 머신 (GBM)이었습니다. 최근, 2015 년경 XGBoost가 도입되었으며, 이는 정확하고 과적 합을 처리하며 여러 개의 Kaggle 경쟁의 승자가되었습니다. 2017 년에 Microsoft에서 LightGBM을 도입했으며 XGBoost에 비해 교육 시간이 크게 단축되었습니다. 또한 CatBoost는 범주 기능을 처리하기 위해 Yandex에 의해 도입되었습니다.

랜덤 포레스트는 2000 년대 초에 소개되었지만 그에 합당한 후계자가 있습니까? Random Forest보다 더 나은 bagging 알고리즘이 존재한다면 (실제로 쉽게 적용 할 수 있음) Kaggle과 같은 곳에서 약간의 관심을 얻었을 것입니다. 또한 왜 부스팅이 더 대중적인 앙상블 기법이 되었습니까? 최적의 예측을 위해 더 적은 수의 나무를 만들 수 있기 때문입니까?

random-forest boosting bagging

— 마리우스
소스

adaBoost는 1995 년에 실제로 소개되었지만 기본 논문을 변경하지 않는 작은 부분입니다.

— jbowman

임의 숲 때문에 우리는 또한 도입 본 적이 매우 무작위로 나무를 나는 그들이 ...는 "가치"후계자하지 않을 수 있으므로 이러한, 어떤 일관성 임의 숲을 능가하는 것이 좋은 증거 정말 잘 모르는 것 같아요 있지만,

— 제이크 Westfall

BART ( arxiv.org/abs/0806.3286 )는 단일 트리 Bayesian CART에서 진화 한 베이 즈 모델이며 클래식 앙상블 방식에서 영감을 얻었습니다. 탐험 할 가치가 있습니다.

— Zen

부스팅은 약한 학습자 기술로 많은 문제를 성공적으로 처리하기 때문에 인기가 높아졌습니다.

— Refael

정기적으로 욕심 많은 숲은 언급 할 가치가 있으며 (느리지 만 좋은 결과), 임의의 숲을 시원한 부작용으로 정량화합니다.

— Michael M

xgboost, catboost 및 lightgbm은 임의 포리스트의 일부 기능 (변수 / 관찰의 임의 샘플링)을 사용하므로 부스팅 및 RF의 후속 작업이며 두 가지 모두에서 최고의 것을 취한다고 생각합니다. ;)

— PhilippPro
소스