부스팅에 대한 가방 외부 오류 추정치?

랜덤 포레스트에서 각 트리는 고유 한 부 스트랩 데이터 샘플에서 병렬로 성장합니다. 각 부 스트랩 샘플에는 고유 한 관측치의 약 63 %가 포함될 것으로 예상되므로, 관측치의 약 37 %가 트리 테스트에 사용될 수 있습니다.

이제 확률 적 그라디언트 부스팅에서는 RF와 비슷한 추정치가있는 것 같습니다.$OOB_{error}$

bag.fraction이 0보다 큰 값 (0.5 권장)으로 설정되면 gbm은 예측 성능 향상에 대한 백 밖 추정을 계산합니다. 다음 회귀 트리를 선택하는 데 사용되지 않은 관측치에 대한 이탈 감소를 평가합니다.

출처 : Ridgeway (2007) , 섹션 3.3 (8 페이지).

작동 방식 / 유효성을 이해하는 데 어려움이 있습니다. 시퀀스에 트리를 추가한다고 가정 해보십시오. 원래 데이터 세트의 임의 하위 샘플에서이 트리를 확장하고 있습니다. 이 단일 트리를 키우기 위해 사용되지 않은 관측치에서 테스트 할 수있었습니다. 동의했다. 그러나 Boosting은 순차적 이기 때문에 지금까지 구축 된 전체 트리 시퀀스 를 사용하여 왼쪽 관측에 대한 예측을 제공합니다. 그리고 이전의 많은 나무들이 이미 이러한 관찰을 보았을 가능성이 높습니다. 따라서 모델은 RF와 같이 보이지 않는 관측에 대해 각 라운드에서 실제로 테스트되지 않습니다.

그렇다면 이것을 "가방 밖"오류 추정치라고하는 방법은 무엇입니까? 저에게, 관측 결과가 이미 보여진 이후로 어떤 가방에서 "나온"것처럼 보이지 않습니까?

부분적으로 만 응답하고 질문에 새 질문을 추가합니다.

R http://www.rdocumentation.org/packages/gbm/functions/gbm 의 gbm 구현에는 가방 외부를 조정하기위한 두 개의 매개 변수가 있습니다.

a) train.fraction모든 나무를 훈련시키는 데 사용되는 데이터의 비율을 정의하므로 1- train.fraction실제 OOB (가방 밖) 데이터가됩니다.

b) bag.fraction부스트에서 다음 트리 생성에 사용될 훈련 데이터의 비율을 정의합니다. 따라서 트리 생성에 사용되지 않은 일부 데이터가있을 수 있으며 실제로 OOB 데이터로 사용될 수 있습니다 (그러나 가능성은 낮습니다. 아래 질문 참조).

어느 것이 나를 질문으로 인도합니다. OOB 인 데이터의 37 %에 대한 분석은 하나의 트리에만 해당됩니다. 그러나 모든 트리에서 사용되지 않는 데이터가있을 가능성은 훨씬 작습니다.$0.37^{ntrees}$ (모든 사람을 위해 OOB에 있어야 함 $ntree$나무-내 이해는 각 나무가 자체 부트 스트랩을 수행한다는 것입니다. 따라서 RandomForests에서는 포리스트를 테스트하기 위해 OOB가 될 가능성이 거의 없습니다. 그럼에도 불구하고 (Breiman의 원본 코드 기준) R의 랜덤 포레스트 구현 (결과 데이터 예를 들어 OOB에 대해 많은 것을 이야기 err.rate하고 confusion참조 http://www.rdocumentation.org/packages/randomForest/functions/randomForest를 )

나는 그것에 대답하는 방법을 모른다. (그리고 질문을하고 randomForests 의이 측면을 이해하지 못한다는 사실을 깨닫게 해 준 (+1)에게 감사한다). 가능한 해결책은 부트 스트랩이 하나만 있고 모든 트리가 그것으로부터 구성된다는 것입니다. 그러나 제가 아는 한, 그렇지 않습니다.

나는 그들이 각 단계에서 가방을 추정하지 않는다고 생각합니다. 모든 단계의 결과가 계수와 함께 추가되므로 OOB 오류도 같은 계수로 추가 할 수 있습니다.