랜덤 포레스트 vs Adaboost


10

논문 Random Forests (Breiman, 1999)의 7 장 에서 저자는 "Adaboost는 랜덤 포레스트"라고 추측합니다.

누구든지 이것을 증명하거나 반증 했습니까? 이 게시물 1999 년을 증명하거나 반증하기 위해 무엇을 했습니까?


stats.stackexchange.com/questions/77018/…을 읽어 보십시오. 어쩌면 거기에서 답을 찾을 수있을 것입니다

감사합니다! 따라서 섹션 7은 또 다른 추측을 제공하며, 입증 된 경우 adaboost가 임의의 포리스트와 동일 함을 보여줍니다. 누구도이 추측이 사실이라고 생각 했습니까?
Alex

@ user75008 나는 당신의 링크를 읽고있다 stats.stackexchange.com/questions/77018/...을 , 당신은 에이다 부스트는 임의의 숲 일치하지 않는 것을 제안 생각하십니까?
Alex

답변:


3

흥미로운 질문입니다. 그 이후 몇 가지 다른 전술을 통해 에이다 부스트를 설명하는 많은 작업이 수행되었습니다.

나는 빠른 문헌 검색을했으며이 다소 이상한 논문은 주제에 관한 가장 최근의 논문으로 보이며 Brieman과 다른 사람들의 여러 간청 한 작품을 검토합니다.

http://arxiv.org/pdf/1212.1108.pdf

나는 그들의 결과가 타당하다고는 생각하지 못하지만 그들은 Brieman의 추측을 증명하지 못했지만 adaboost가 보존하는 척도이지만 반드시 인체 공학적이라고 주장하는 약화 된 버전을 증명했다고 주장합니다.

그들은 또한 adaboost가 실제로 때때로 초과 적합하다는 경험적 증거를 제시합니다.

나는 adaboost가 임의의 숲과 관련이있을 수 있지만 Brieman이 추측 한 방식과 완전히 (또는 항상 같은) 것은 아니라고 생각합니다.


고마워, 나는 이것이 여전히 공개적인 질문이라고 생각하지만, 마지막 진술은 말한다.
Alex

1
그래, 아직 열려 있다고 생각합니다. 또한 [stochastic] 그래디언트 부스팅 머신의 인기가 높아짐에 따라 AdaBoost 분석에 대한 관심이 떨어 졌다고 생각합니다. AdaBoost는 그라디언트 디센트 ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) 의 한 형태이며 명시 적으로 무작위 그라디언트 디센트에 대한 사고는 Brieman이 제안한 동등성보다 직관적이고 더 실용적 일 수 있습니다. (즉, 그것이 사실이더라도 실제로 필요한 분포를 실제로 샘플링하기는 어려울 수 있습니다.)
Ryan Bressler

방금이 주제에 관한이 새로운 논문을 보았습니다 : arxiv.org/pdf/1504.07676v1.pdf
Ryan Bressler

사실이라면 매우 흥미 롭습니다! "우리는 의사 결정 트리가 크고 직접 정규화 또는 조기 중지없이 임의의 포리스트와 같이 부스팅을 사용해야한다고 결론을 내 렸습니다."
Alex
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.