그라디언트 부스팅 트리 및 임의의 포리스트

Friedman이 제안한 그라디언트 트리 부스팅은 의사 결정 트리를 기본 학습자로 사용합니다. 기본 의사 결정 트리를 가능한 한 복잡하게 (완전히 성장) 또는 단순하게 만들어야하는지 궁금합니다. 선택에 대한 설명이 있습니까?

랜덤 포레스트는 의사 결정 트리를 기본 학습자로 사용하는 또 다른 앙상블 방법입니다. 내 이해를 바탕으로, 우리는 일반적으로 각 반복마다 거의 완전히 자란 의사 결정 트리를 사용합니다. 내가 맞아?

$\text{error = bias + variance}$

• 부스팅은 약한 학습자 (높은 편향, 낮은 분산)를 기반으로 합니다. 의사 결정 트리와 관련하여 약한 학습자는 얕은 나무이며 때로는 의사 결정 그루터기 (두 잎이있는 나무)만큼 작습니다. 부스팅은 주로 바이어스를 줄임으로써 (그리고 여러 모델의 출력을 집계하여 어느 정도 분산) 오차를 줄입니다.
• 반면, 랜덤 포레스트는 완전히 자란 의사 결정 트리 (낮은 편향, 높은 분산) 를 말한대로 사용합니다 . 편차를 줄임으로써 오류 감소 작업을 반대 방식으로 처리합니다. 트리는 분산 감소를 최대화하기 위해 상관 관계가 없지만 알고리즘은 바이어스 (포리스트에서 개별 트리의 바이어스보다 약간 높음)를 줄일 수 없습니다. 따라서 가지 치기하지 않은 큰 나무가 필요하므로 바이어스가 가능한 한 낮습니다.

부스팅 (순차적)과 달리 RF는 트리를 병렬로 확장 합니다. 사용한 용어 iterative가 적합하지 않습니다.

이 질문은이 아주 좋은 게시물에서 다뤄집니다. 그것과 그 안의 참조를 살펴보십시오. http://fastml.com/what-is-better-gradient-boosted-trees-or-random-forest/

기사에서 교정에 대해 말하고 그것에 관한 다른 (좋은) 블로그 게시물에 대한 링크를 언급합니다. 그래도 부스팅에서 교정 된 확률 얻기 라는 문서를 통해 부스트 분류기의 상황에서 교정이 무엇인지, 그리고이를 수행하는 표준 방법이 무엇인지 더 잘 이해할 수 있습니다.

그리고 마지막으로 한 가지 측면이 누락되었습니다 (좀 더 이론적으로). RF와 GBM은 모두 앙상블 방식이므로 분류기를 여러 개의 더 작은 분류기로 작성합니다. 이제 근본적인 차이점은 사용 된 방법에 있습니다.

1. RF는 과잉 피팅되기 쉬운 의사 결정 트리를 사용합니다. 높은 정확도를 달성하기 위해 RF는 배깅을 기반으로 많은 수의 데이터를 생성하기로 결정합니다 . 기본 아이디어는 반복해서 데이터를 리샘플링하고 각 샘플마다 새로운 분류기를 훈련시키는 것입니다. 다른 분류 기준은 다른 방식으로 데이터에 적합하며 투표를 통해 이러한 차이를 평균화합니다.
2. GBM은 부스팅 방법으로 약한 분류 자를 기반으로 합니다. 아이디어는 한 번에 분류기를 추가하여 다음 분류 기가 이미 훈련 된 앙상블을 향상 시키도록 훈련시키는 것입니다. RF의 각 반복에 대해 분류기는 나머지와 독립적으로 학습됩니다.