좋아, 이것은 밤에 나를 유지시키는 질문이다.

부트 스트랩 절차를 베이지안 부트 스트랩을 제외한 일부 베이지안 절차와 비슷하게 해석 할 수 있습니까?

나는 정말 통일되고 이해하기 쉬운 통계의 베이지안 "통역"을 정말 좋아합니다. 그러나 나는 또한 부트 스트랩 절차에 약점이있어 매우 간단하지만 많은 상황에서 합리적인 추론을 제공합니다. 부트 스트랩이 어떤 의미에서 사후 분포와 비슷하다는 것을 알고 있다면 부트 스트랩에 더 만족할 것입니다.

나는 "Bayesian 부트 스트랩"(Rubin, 1981)을 알고 있지만 부트 스트랩의 버전은 표준 부트 스트랩만큼 문제가된다고 생각합니다. 문제는 클래식과 베이지안 부트 스트랩을 수행 할 때 가능한 분포 값이 이미 본 값일 뿐이라는 매우 독특한 모델 가정입니다. 이러한 이상한 모델 가정이 어떻게 부트 스트랩 절차에서 얻을 수있는 매우 합리적인 추론을 얻을 수 있습니까? 부트 스트랩의 속성을 조사한 기사를 찾고 있었지만 (예 : Weng, 1989), 내가 만족하는 명확한 설명을 찾지 못했습니다.

참고 문헌

도널드 비 루빈 (1981). 베이지안 부트 스트랩. 앤 통계 학자. 9 권 1 호 130-134

정성원 (1989). 베이지안 부트 스트랩 평균의 2 차 점근 법 속성. 통계의 연대기 , Vol. 17, No. 2, 705-710 쪽.

Hastie, Tibshirani 및 Friedman의 통계 학습 요소 8.4 절은 "부트 스트랩과 베이지안 추론의 관계"입니다. 그것은 당신이 찾고있는 것일 수도 있습니다. 이 책은 스탠포드 웹 사이트를 통해 자유롭게 구할 수 있다고 생각합니다.

편집하다:

다음은 저자가 온라인으로 자유롭게 이용할 수있는 책에 대한 링크입니다.

http://www-stat.stanford.edu/~tibs/ElemStatLearn/

272 페이지에서 저자는 다음과 같이 씁니다.

이런 의미에서 부트 스트랩 분포는 모수에 대한 (대략적인) 비모수 적, 비 정보적인 사후 분포를 나타냅니다. 그러나이 부트 스트랩 분포는 사전에 공식적으로 지정하지 않고 후방 분포에서 샘플링 할 필요없이 고통없이 얻을 수 있습니다. 따라서 우리는 부트 스트랩 배포를 "가난한"베이 즈 후부로 생각할 수 있습니다. 데이터를 교란시킴으로써 부트 스트랩은 매개 변수 교란의 베이지안 효과에 근사하며 일반적으로 수행하기가 훨씬 간단합니다.

Dvoretzky–Kiefer–Wolfowitz 부등식 을 언급하는 이 교차 검증 된 질문 에서 퍼즐의 한 조각이 더 발견되는데, 이는 경험적 분포 함수가 확률 적으로 기하 급수적으로 빠른 실제 분포 함수에 균일하게 수렴한다는 [...]을 나타냅니다.

따라서 모든 비모수 적 부트 스트랩은 "우리의 모수에 대해 (대략적인) 비모수 적, 비 정보 적 후부 분포"를 생성하고 표본 수가 증가함에 따라이 근사치가 "지수 적으로 빠르다"는 점근 법 방법으로 볼 수 있습니다.

이 주제에서 내가 본 최신 논문입니다.

@article{efr13bay,
author={Efron, Bradley},
title={Bayesian inference and the parametric bootstrap},
journal={Annals of Applied Statistics},
volume=6,
number=4,
pages={1971-1997},
year=2012,
doi={10.1214/12-AOAS571},
abstract={Summary: The parametric bootstrap can be used for the efficient
    computation of Bayes posterior distributions. Importance sampling formulas
    take on an easy form relating to the deviance in exponential families and
    are particularly simple starting from Jeffreys invariant prior. Because of
    the i.i.d. nature of bootstrap sampling, familiar formulas describe the
    computational accuracy of the Bayes estimates. Besides computational
    methods, the theory provides a connection between Bayesian and frequentist
    analysis. Efficient algorithms for the frequentist accuracy of Bayesian
    inferences are developed and demonstrated in a model selection example.},
keywords={Jeffreys prior; exponential families; deviance; generalized linear
    models},
classmath={*62F15 (Bayesian inference)
62F40 (Resampling methods)
62J12 (Generalized linear models)
65C60 (Computational problems in statistics)}}

저 역시 부트 스트랩과 베이 즈 정리에 유혹을 받았지만, 베이 즈 관점에서 볼 때까지 부트 스트랩의 정당화에 대해 많은 이해를 할 수 없었습니다. 그런 다음 아래에서 설명하는 것처럼 부트 스트랩 분포는 베이지안 후부 분포로 볼 수 있는데, 이는 부트 스트랩 뒤에 (a?) 근거를 분명히하고, 가정을 명확하게하는 이점을가집니다. https://arxiv.org/abs/1803.06214(22-26 페이지) 에는 아래의 주장과 가정에 대한 자세한 내용이 있습니다 .

예를 들어, http://woodm.myweb.port.ac.uk/SL/resample.xlsx 의 스프레드 시트에 설정되어있는 경우 (화면 하단의 부트 스트랩 탭 클릭) 스프레드 시트를 사용하여이 샘플을 대체하여 1000 개의 리 샘플을 생성하고 평균을 가장 가까운 짝수로 반올림했을 때이 평균의 82 개는 54 개였습니다. 부트 스트랩의 아이디어는 우리가 9의 표본 평균이 얼마나 가변적 일지 알기 위해 표본을 "척수"모집단으로 사용하므로 표본 평균의 확률이 모집단 평균보다 6이 낮을 가능성이 있음을 나타냅니다 (이 경우 척도 모집단은 평균 60)의 샘플은 8.2 %입니다. 리샘플링 히스토그램의 다른 막대에 대해서도 비슷한 결론을 내릴 수 있습니다.

이제 실제 모집단의 평균이 66이라는 사실을 상상해 봅시다. 이것이 그렇다면 표본 평균이 60 (즉, 데이터) 일 확률의 추정치는 8.2 %입니다 (위 단락의 결론을 사용하여) 60은 가정 된 인구 평균 66보다 6 아래 6입니다). 이것을 다음과 같이 작성하자

P (평균 데이터 = 66) = 8.2 %

이 확률은 리샘플링 분포의 x 값 54에 해당합니다. 같은 종류의 인수는 0, 2, 4 ... 100의 가능한 모든 모집단 평균에 적용됩니다. 각 경우에 확률은 리샘플링 분포에서 비롯되지만이 분포는 평균 60에 대해 반영됩니다.

이제 베이 즈 정리를 적용 해 봅시다. 해당 측정 값은 0에서 100 사이의 값만 사용할 수 있으므로 가장 가까운 짝수로 반올림하면 모집단 평균의 가능성은 0, 2, 4, 6, .... 100입니다. 사전 분포가 평평하다고 가정하면, 이들 각각의 사전 확률은 2 % (1dp)이며 베이 즈 정리는 다음과 같이 알려줍니다.

P (PopMean = 66 주어진 데이터) = 8.2 % * 2 % / P (Data)

어디

P (데이터) = P (PopMean = 0 주어진 데이터) * 2 % + P (PopMean = 2 주어진 데이터) * 2 % + ... + P (PopMean = 100 주어진 데이터) * 2 %

이제 2 %를 취소 할 수 있으며 확률은 단순히 리샘플링 분포의 확률이므로 확률의 합은 1이어야합니다. 어느 결론은 우리에게

P (팝 평균 = 66) = 8.2 %

8.2 %는 66이 아니라 54에 대응하는 리샘플링 분포로부터의 확률이라는 것을 기억하고, 후방 분포는 단순히 샘플 평균 (60)에 대해 반영된 리샘플링 분포이다. 또한 리샘플링 분포가 비대칭이 임의라는 점에서 대칭 인 경우 (이 경우와 기타 여러 경우 에서처럼), 재 샘플 분포를 사후 확률 분포와 동일한 것으로 간주 할 수 있습니다.

이 주장은 다양한 가정을하는데, 주된 이유는 이전의 분포가 균일하다는 것입니다. 이것들은 위에서 인용 한 기사에서 더 자세하게 설명되어 있습니다.