이론적으로는 (어떻게) 작동하는지 이해하지만 실제로 앙상블 방법을 사용하는 방법 (투표, 가중 혼합물 등)을 잘 모르겠습니다.
편집하다:
의견에 대한 토론을 기반으로 일부를 정리하기 위해 randomForest 등과 같은 앙상블 알고리즘을 찾고 있지 않습니다. 대신 다른 알고리즘의 다른 분류를 어떻게 결합 할 수 있는지 궁금합니다.
예를 들어, 누군가가 로지스틱 회귀, SVM 및 기타 다른 방법을 사용하여 특정 관측치의 등급을 예측한다고 가정합니다. 이러한 예측을 기반으로 클래스의 최적 추정치를 캡처하는 가장 좋은 방법은 무엇입니까?
답변:
시작하기에 좋은 곳 은 앙상블 학습에 대한 개요 를 얻는 것 입니다. 특히 부스팅 과 배깅 을보고 싶을 것이다 . Netflix Prize의 "The Ensemble"팀이 사용하는 또 다른 방법은 "블렌딩"또는 기능 스태킹 이라고합니다 .
그런 다음 구현하고 거기에서 작동하는 라이브러리를 찾으십시오. 빠른 인터넷 검색은 scikit 과 orange으로 나타났습니다 . 둘 다 자루에 넣거나 부스팅해야합니다 (둘 다 Python입니다).
앙상블 방법을 사용하는 것 이상의 이론을 배우고 싶다면 이 백서 가 좋은 출발점 이라고 생각 합니다 (관심있는 부분에 대한 참조를 따르십시오).
건배.
Stumpy Joe Pete의 답변은 완벽했지만 Python 구현에 대해 언급 한 이후 Universidade Federal de Pernambuco 의 양조 프로젝트 에 대해 언급하고 싶었습니다 .
https://github.com/viisar/brew
from brew.base import Ensemble
from brew.base import EnsembleClassifier
from brew.combination import import Combiner
# create your Ensemble
clfs = your_list_of_classifiers # [clf1, clf2]
ens = Ensemble(classifiers = clfs)
# create your Combiner
# the rules can be 'majority_vote', 'max', 'min', 'mean' or 'median'
comb = Combiner(rule='majority_vote')
# now create your ensemble classifier
ensemble_clf = EnsembleClassifier(ensemble=ens, combiner=comb)
ensemble_clf.predict(X)
이 시점에서 앙상블 생성, 조합, 가지 치기 및 동적 선택이 가능합니다.
한계 : 분류 만; 현재 공개 버전에서는 스태킹이 없습니다. 많지 않은 문서.
Salford Systems에는 분류 및 회귀 트리 앙상블을 위해 이것을 구현하는 Random Forests라는 소프트웨어 패키지가 있습니다. 제공 할 무료 R 패키지가 없습니다. 나는 그들이 그들의 구현을 설명 할 사용자 매뉴얼을 가지고 있다고 상상한다. 유추하여 다른 앙상블 방법에 대한 방법을 알아낼 수 있습니다.
이 튜토리얼이 매우 유용하다는 것을 알았습니다. 모든 부분에 대한 답변은 아니지만 http://vikparuchuri.com/blog/intro-to-ensemble-learning-in-r/