베이지안과 잦은 포인트 추정기는 어떤 조건에서 일치합니까?

17

사전 설정이 평평하면 ML (자주 주의자-최대 우도) 및 MAP (Bayesian-최대 사후 계산) 추정기가 일치합니다.

그러나 더 일반적으로, 나는 일부 손실 함수의 최적화 프로그램으로 도출 된 포인트 추정기에 대해 이야기하고 있습니다. 즉

\hat{x} (.) = argmin E (L (X - \hat{x} (y)) | y) (Bayesian)

$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) \qquad \; \,\text{ (Bayesian) }$

\hat{x} (.) = argmin E (L (x - \hat{x} (Y)) | x) (Frequentist)

$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x-\hat x(Y)) \; | \; x \right) \qquad \text{(Frequentist)}$

여기서 는 기대 연산자이고, 은 손실 함수 (최소 0), 는 데이터 의 경우 매개 변수 의 추정값 이며 임의의 변수는 대문자로 표시됩니다. . $\mathbb{E}$ $L$ $\hat x(y)$ $y$ $x$

아무도 추정치가 일치하는 선형성 및 / 또는 불편 함을 부과 하는 와 의 pdf 인 대한 조건을 알고 있습니까? $L$ $x$ $y$

편집하다

의견에서 언급했듯이, 빈번한 문제를 의미있게하려면 편견과 같은 공정성 요구 사항이 필요합니다. 평평한 선행은 또한 공통점이 될 수 있습니다.

일부 답변에서 제공하는 일반적인 토론 외에도 실제 사례 를 제공하는 것에 대한 질문도 있습니다 . 중요한 것은 선형 회귀에서 비롯된 것입니다.

OLS, 는 BLUE입니다 ( Gauss-Markov 정리) ), 즉 선형 편향 추정기 간의 잦은 MSE를 최소화합니다. $\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$
경우 가우시안이고, 종래는, 평탄 는 "후방"평균으로 볼록 손실 함수에 대한 베이지안 평균 손실을 최소화합니다. $(X,Y)$ $\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$

여기서 는 각각 잦은 / 베이지 아 용어로 데이터 / 디자인 매트릭스로 알려져 있습니다. $\mathbf{D}$

— 패트릭
소스

나는 당신이 대답이 평평하다고 가정한다고 가정합니까? 물론 그렇지 않으면 흥미로운 일반적인 경우에 추정치가 합리적으로 예상 될 수있는 방법은 없습니다.

— user56834

2

일반적인 질문에 대답하는 것은 간단한 질문이 아니지만 현재는 매우 뜨거운 연구 주제입니다. 예를 들어 다음 분야에서 Judith Rousseau의 연구를보십시오 : ceremade.dauphine.fr/~rousseau/publi.html

— Jeremias K

@ JeemiasK, 아마도 당신은 대답에서 그것에 대해 설명 할 수 있습니까?

— user56834

1

@ Programmer2134 나는 자료에 대해 충분히 편안하다고 생각하지만, 그렇지 않습니다. 나는 그들이하는 일이 샘플 크기를 증가시킬 때 매개 변수 공간의 한 지점에 매개 변수 후부가 얼마나 빨리 집중되는지 알려주는 특정 '후방 집중 속도'와 함께 CLT의 베이지안 대응을 유도하는 것임을 알고 있습니다. 베이지안 추정값에 대한 잦은 유형 일관성 보장 찾기.

— Jeremias K

7

빈번한 견적 의 개념이 정확 하지 않으면 질문은 흥미롭지 만 다소 희망이 없습니다 . 확실히 질문에 설정된 아니다 최소화에 대한 답부터입니다 모든 '에서 지적 아웃로이야Programmer2134의 대답. 근본적인 문제는 추가 제약이나 추정기 클래스를 도입하지 않고 추정 문제에 대한 단일 잦은 추정기가 없다는 것입니다. 이것들이 없으면, 모든 베이 즈 추정기는 또한 빈번한 추정기입니다.

\hat{x} (.) = argmin E (L (x, \hat{x} (Y)) | x)

$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x,\hat x(Y)) \; | \; x \right)$

\hat{x} (y) = x

$\hat{x}(y)=x$

y

$y$

의견에서 지적했듯이, 편견 은 그러한 제약이 될 수 있으며,이 경우 베이 추정기가 제외됩니다. 그러나이 빈번한 개념은 다음과 같은 다른 빈번한 개념과 충돌합니다.

James-Stein 현상으로 인해 편향 추정기가 허용되지 않을 수 있음을 보여 주었으므로 (손실 기능과 문제의 차원에 따라) 허용 가능성;
편견이 변환을 유지하지 않기 때문에 매개 변수화에서 불변성.

또한 편견은 제한된 등급의 추정 문제에만 적용됩니다. 이것에 의해, 특정의 파라미터 또는 변환 의 편견없는 추정치의 클래스 는 대부분 비어있는 것을 의미합니다. $\theta$ $h(\theta)$

또 다른 빈번한 개념 인 허용 가능성에 대해 말하면, 유일하게 허용 가능한 견적은 Bayes 견적 자와 반대로 설정이 있습니다. 이러한 유형의 설정은 1950 년대 Abraham Wald가 확립 한 완전한 계급 정리와 관련이 있습니다. (적절한 올바른 Haar 측정 값에 따라 Bayes 인 최고의 불변량 추정량에도 동일하게 적용됩니다.)

— 시안
소스

1

최소화 문제가 잘 정의되고 퇴화되지 않고 (편견이 필요하지 않은 것을 제외하고) 베이지안에 가까운 다른 추정 방법을 사용 하는가?

— user56834

3

일반적으로 잦은 퇴행 률을 사용하지 않는 한 잦은 주의자와 베이지안 추정치는 일치하지 않습니다. 주된 이유는 다음과 같습니다. 상용주의 견적 담당자는 종종 편향되지 않도록 노력합니다. 예를 들어, 잦은 주의자들은 종종 최소 편차 편향 추정량을 찾으려고합니다 ( http://en.wikipedia.org/wiki/Minimum-variance_unbiased_estimator ). 한편, 모든 비 퇴화 베이 추정량은 편향적입니다 (빈도 주의적 편견). 예를 들어 http://www.stat.washington.edu/~hoff/courses/581/LectureNotes/bayes.pdf , 정리 5를 참조하십시오 .

요약하자면, 대부분의 인기있는 펀더리스트 추정기는 편향되지 않으려 고 노력하는 반면, 모든 Bayes 추정기는 편향되어 있습니다. 따라서 베이 즈와 빈번한 견적은 거의 일치하지 않습니다.

— 스테판 웨거
소스

5

"대부분의 인기있는 펀더리스트 추정기"가 ML이고 매개 변수화에 따라 편향되는 경향이 있다는 점을 감안할 때 이러한 주장의 정확성에 대해 궁금합니다. 더욱이, 좋은 잦은 주의자는 손실과 허용 가능성에 대해 깊이 우려하고 있습니다. 이 이론의 핵심은 인정할 수있는 절차가 베이 즈 절차에서 나온다는 사실을 인식하고있다. 그와 같은 넓은 의미에서 빈번한 이론의 핵심은 베이 즈 추정기에 의존한다는 것이다! 당신이 "종종", "가장", "드물게"에 대해 더 명확하고 증거로 뒷받침 할 수 있다면 당신의 견해에 설득 될 수 있습니다.

— whuber

@ whuber 좋은 지적-아마도 대답은 약간 단순했을 것입니다. 실제 잦은 주의자들은 편향 절차 (예 : L1 또는 L2 처벌 회귀)를 사용하거나 공식적으로 베이지안 절차를 사용할 수도 있습니다. 그러나 편견없는 추정값이 가장 빈번한 분석의 시작점이라고 생각합니다. 예를 들어, Lehmann & Casella (빈도주의 추정에 대한 표준 텍스트 중 하나)의 Point Estimation of Point Estimation의 첫 번째 장은 편견에 관한 것입니다.

— Stefan Wager

5

글쎄요 (+1). 그러나 나는 당신의 마지막 주장이 재미 있다는 것을 안다 : 결국, 책은 어딘가에서 시작해야하고 일반적으로 시작점은 실용적으로 중요하지 않고 단순성과 접근성을 위해 선택된다. 같은 추론을 통해 대부분의 현대 수학은 주로 수학과 이론에 관심이 있다고 주장 할 수 있습니다. 왜냐하면 대부분의 수학 교과서에서 첫 번째 장을 구성하기 때문입니다! 통계 실무에 대한 더 나은 반영은 Lehmann & Casella의 마지막 절반 정도일 것입니다. ---)에서 논의 된 내용을 살펴보십시오.

— whuber

"축소 된 아파트를 사용하지 않는 한". 글쎄, 이것은 흥미있는 특별한 경우입니다.

— user56834

또한 그의 의문은 실제로 사용되는 추정기가 일치하는지 여부가 아니라 특정 조건에서 이론적으로 일치하는지 여부에 관한 것입니다.

— user56834

3

이것은 완전한 대답 아니지만,이 두 가지 중에 의 모습과 매우 유사, 그들이하는 방식으로 근본적으로 다르다 : 베이지안 한 최소화하는 단일 값에 대한 표현 (즉,의 값 에 따라 다름 ). $\text{argmin}$ $\hat x(y)$ $y$

그러나 빈도주의 일을하는 모든 가치에 대해 단일 값에 대한 손실 함수를 최소화하는 몰라도,이 걸릴 수를 . 함수의 최소 때문이다 에 따라 우리가 모르게 최소화 할지라도, . (주 우리가 단순히 최소화 할 수있는 경우 $x$ $x$ $f(x,\hat x)=E(L(x-\hat x(Y))|x)$ $x$ $x$ $f(x, \hat x)$ WRT , 우리는 단순히의 최소화 값을 얻을 것 하십시오.) 빈도주의 문제 때문에 정의되지 않은됩니다. 잘 정의 할 수 있는지 확실하지 않습니다. $\hat x$ $\hat x = x$

— 사용자
소스

1

좋은 지적입니다. 나는 당신이 빈번한 문제에 대해 옳다고 생각합니다. 그것을 잘 세우는 방법은 추정기의 클래스를 제한하는 것입니다. Lehmann & Casella : "지금까지 우리는 θ의 모든 값에서 위험 R (θ, δ)을 최소화하는 추정기를 찾는 것에 관심을 가졌으며, 이는 추정기의 등급이 그러한 공정성 요구 사항에 의해 고려되도록 제한하는 것만으로 가능했습니다. 편견 또는 등분 산으로 "

— Patrick

1

이 질문에 대한 답이 없을 수도 있습니다.

대안은 당면한 문제에 대해 두 가지 추정치를 효율적으로 결정하는 방법을 요구하는 것입니다. 베이지안 방법은이 이상에 매우 가깝습니다. 그러나, 미니 맥스 방법을 사용하여 잦은 포인트 추정치를 결정할 수 있지만, 일반적으로 미니 맥스 방법의 적용은 여전히 어렵고 실제로 사용되지 않는 경향이있다.

다른 대안은 베이지안 및 잦은 견적자가“일관된”결과를 제공하고 이러한 견적자를 효율적으로 계산하는 방법을 식별하는 조건에 대한 질문을 다시 표현하는 것입니다. 여기서 "일관성있는"은 베이지안 및 잦은 추정량이 공통된 이론으로부터 도출되고 동일한 추정 기준이 두 추정기에 사용된다는 것을 의미하기 위해 취해진 다. 이는 베이지안과 잦은 통계에 반대하는 것과는 매우 다르며 위의 질문을 불필요하게 만들 수 있습니다. 하나의 가능한 접근법은 빈번한 사례와 베이지안 사례 모두에 대해 주어진 크기에 대한 손실을 최소화하는 의사 결정 세트를 목표로하는 것이다.

Schafer, Chad M 및 Philip B Stark. "최상의 예상 크기의 신뢰 영역 구성" 미국 통계 협회 저널 104.487 (2009) : 1080-1089.

잦은 점과 베이지안의 경우 모두 큰 포인트 단위의 상호 정보가있는 선호 관찰 및 매개 변수를 포함하여 이것이 가능하다는 것이 밝혀졌습니다. 요청되는 질문이 다르기 때문에 결정 세트가 동일하지 않습니다.

실제 매개 변수가 무엇인지에 관계없이 잘못된 결정을 내릴 위험을 제한하십시오 (자주 주의적 견해)
일부 관측치가있을 경우 의사 결정 세트에 잘못된 매개 변수를 포함시킬 위험을 제한하십시오 (바이아보기)

그러나 플랫 우선 순위를 사용하는 경우 일부 상황에서는 세트가 크게 겹치며 동일하게됩니다. 이 아이디어는 효율적인 시행과 함께 더 자세히 논의됩니다.

Bartels, Christian (2015) : 일반적이고 일관된 자신감과 믿을만한 지역. 무화과. https://doi.org/10.6084/m9.figshare.1528163

유익한 사전 결정의 경우, 의사 결정 세트가 더 많이 벗어나게됩니다 (일반적으로 알려진 질문과 답변에서 지적 된 바와 같이). 그러나 일관된 프레임 워크 내에서 원하는 잦은 적용 범위를 보장하지만 사전 지식을 고려하는 잦은 테스트를받습니다.

Bartels, Christian (2017) : 빈번한 테스트에서 사전 지식 사용. 무화과. https://doi.org/10.6084/m9.figshare.4819597

제안 된 방법은 여전히 효율적인 마진 화 구현이 부족합니다.

— 사용자 36160
소스

질문이 "일관 적"일 때 더 구체적으로 설명해 주시겠습니까?

— user56834

@ 프로그래머 2134. 감사합니다. 답을 명확하게하려고했습니다.

— user36160