항상 앙상블 학습을 사용하지 않는 이유는 무엇입니까?


13

앙상블 학습은 단일 학습 가설보다 항상 더 나은 예측 성능을 제공 할 것 같습니다.

그렇다면 왜 항상 사용하지 않습니까?

내 추측은 아마도 계산상의 한계 때문입니까? (그런데도 약한 예측 변수를 사용하므로 잘 모르겠습니다).


2
앙상블 학습이 항상 더 나은 성능을 제공하는 것은 아닙니다. 경우에 따라 배깅과 부스팅이 작동하지만 다른 경우에는 성능이 크게 저하 될 수 있습니다.
Marc Claesen

답변:


12

일반적으로 항상 더 나은 성능을 발휘한다는 것은 사실이 아닙니다. 각각의 고유 한 장점 / 약점을 가진 몇 가지 앙상블 방법이 있습니다. 어느 것을 사용해야하는지 그리고 문제에 달려 있습니다.

예를 들어, 분산이 높은 모델 (데이터에 너무 적합)이있는 경우 배깅을 사용하면 이점이 있습니다. 바이어스 된 모델이있는 경우 Boosting과 함께 사용하는 것이 좋습니다. 앙상블을 형성하는 다른 전략도 있습니다. 주제가 너무 넓어서 한 번의 답변으로 다루기가 어렵습니다.

그러나 내 요점은 : 설정에 잘못된 앙상블 방법을 사용하면 더 나아 지지 않을 것입니다. 예를 들어 바이어스 된 모델과 함께 Bagging을 사용하면 도움이되지 않습니다.

또한 확률 설정에서 작업해야하는 경우 앙상블 방법도 작동하지 않을 수 있습니다. 됩니다 알려진 (에이다 부스트와 같은 가장 인기있는 형태로) 밀어주는 것은 좋지 확률 추정치를 제공하는 것이다. 즉, 분류뿐만 아니라 데이터에 대해 추론 할 수있는 모델을 원한다면 그래픽 모델을 사용하는 것이 좋습니다.


의사 결정 그루터기는 편향되어 있지만 배깅과 함께 성공적으로 사용되었습니다.

예, 그러나 앙상블은 여전히 ​​편향되어 있습니다. 편견이 실제로 문제라면? 자루에 넣는 것이 문제를 해결하는 데 도움이되지 않습니다. 언급 한 사례에 대한 참조를 추가 할 수 있습니까?
jpmuc
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.