포장에 대한 이론적 보증은 무엇입니까

나는 (대략) 들었습니다.

배깅은 예측기 / 추정기 / 학습 알고리즘의 분산을 줄이는 기술입니다.

그러나 나는이 진술에 대한 공식적인 수학적 증거를 본 적이 없다. 왜 이것이 수학적으로 사실인지 아는 사람이 있습니까? 그것은 널리 알려진 / 알려진 사실 인 것 같습니다. 나는 이것에 대한 직접적인 언급을 기대합니다. 없는 것이 있으면 놀랐습니다. 또한, 이것이 편견에 어떤 영향을 미치는지 알고 있습니까?

누구나 알고 중요하다고 생각하고 공유하기를 원하는 접근 방법에 대한 다른 이론적 보증이 있습니까?

자루에 넣는 주요 사용 사례는 저 편향 모델을 함께 묶음으로써 편차를 줄이는 것입니다. 이것은 Bauer와 Kohavi 의 획기적인 논문 인 " 투표 분류 알고리즘의 경험적 비교 : 배깅, 부스팅 및 변형 " 에서 경험적으로 연구 되었습니다 . 일반적으로 광고 된대로 작동합니다.

그러나 대중적 신념과 는 달리, 배깅은 차이를 줄 이도록 보장되지 않습니다 . 더 최근의 (나의 의견으로는) 더 나은 설명은 배깅이 레버리지 포인트의 영향을 줄인다는 것입니다. 레버리지 포인트는 최소 제곱 회귀 분석의 특이 치와 같이 결과 모델에 불균형 적으로 영향을 미치는 포인트입니다. 레버리지 포인트가 결과 모델에 긍정적 인 영향을주는 경우는 드물지만 가능하면 배깅이 성능을 저하시킵니다. Grandvalet의 " 포장을 적용하면 영향력 을 평등화 " 하는 것을 살펴보십시오 .

최종적으로 귀하의 질문에 대답하기 위해 : 배깅의 효과는 레버리지 포인트에 크게 좌우됩니다. bagging이 bag 크기 측면에서 계산 시간을 선형 적으로 증가 시킨다는 것을 제외하고는 이론적 인 보장이 거의 없습니다! 즉, 여전히 널리 사용되는 강력한 기술입니다. 예를 들어, 라벨 노이즈로 학습 할 때 배깅은보다 강력한 분류기를 생성 할 수 있습니다 .

라오와 Tibshirani은의 베이지안 해석 주었다 " 모델 평균 및 선택에 대한 아웃 - 오브 - 부트 스트랩 방법을 " :

이런 의미에서 부트 스트랩 분포는 모수에 대한 (대략적인) 비모수 적, 비 정보적인 사후 분포를 나타냅니다. 그러나이 부트 스트랩 분포는 사전에 공식적으로 지정하지 않고 후방 분포에서 샘플링 할 필요없이 고통없이 얻을 수 있습니다. 따라서 우리는 부트 스트랩 배포를 가난한 사람의 "베이 즈 후부"라고 생각할 수 있습니다.