캐럿이있는 스태킹 / 앙상블 모델


21

나는 종종 caretR을 사용하여 여러 가지 예측 모델을 훈련시키는 것을 자주 발견합니다. 나는를 사용 하여 동일한 교차 검증 폴드에서 모두 훈련 caret::: createFolds한 다음 교차 검증 오류를 기반으로 최고의 모델을 선택합니다.

그러나 여러 모델의 중앙값 예측은 종종 독립 테스트 세트에서 최상의 단일 모델을 능가합니다. 예를 들어 각 교차점에서 각 모델의 중간 예측을 취하거나 "메타 모델"을 훈련하여 동일한 교차 유효성 검사 접기로 훈련 된 스태킹 / 앙상블 캐럿 모델에 대한 일부 함수를 작성하려고합니다.

물론 이것은 외부 교차 검증 루프가 필요할 수 있습니다. 캐럿 모델을 닮거나 기존 앙상블을 교차 검증 할 수있는 기존 패키지 / 오픈 소스 코드를 아는 사람이 있습니까?

답변:


19

Max Kuhn은 실제로 앙상블 캐럿 모델 용 패키지 작업을 시작한 것으로 보이지만 아직 완료 할 시간이 없었습니다. 이것이 바로 내가 찾던 것입니다. 프로젝트가 언젠가 완료되기를 바랍니다!

편집 : 나는 이것을 위해 내 자신의 패키지를 썼다 : caretEnsemble


1
이 패키지에 대한 훌륭한 작업!
mikeycgto

8

찾고있는 것을 "모델 조립"이라고합니다. R 코드가 포함 된 간단한 입문 자습서는 여기에서 찾을 수 있습니다. http://viksalgorithms.blogspot.jp/2012/01/intro-to-ensemble-learning-in-r.html


3
니트 까다로운 것은 아니지만 내 글의 제목에는 "앙상블"이 있습니다. 나는 구체적으로 존재하지 않는 임의의 모델을 모으기위한 R 패키지를 찾고 있습니다. 그래도 코드를 게시 해 주셔서 감사합니다. 어쩌면 나는 내 자신의 패키지를 작성합니다!
Zach

1

나는 당신이 무엇을 찾고 있는지 잘 모르겠지만 이것이 도움이 될 수 있습니다 : http://www.jstatsoft.org/v28/i05/paper

캐럿에서 여러 모델을 사용하는 방법입니다. 관심있는 부분은 pg의 섹션 5입니다. 13.


내가 찾고있는 것은 캐럿 개체 목록을 입력으로 사용하여 예측의 중간, 평균 또는 가중 평균을 출력하는 패키지입니다. 보다 고급 기능에는 중첩 교차 검증을 통한 가중치 최적화가 포함될 수 있습니다.
Zach
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.