Bayes 추정기는 true 매개 변수가 이전 변수의 가능한 변형이어야합니까?

이것은 철학적 질문의 약간 될 수도 있지만 여기에 우리가 간다 : 의사 결정 이론으로, 베이 즈 추정의 위험 대한 이전 유통에 대한 정의 에를 . $\hat\theta(x)$ $\theta\in\Theta$ $\pi$ $\Theta$

이제, 실제로, 가 데이터를 생성하기 위해서는 (즉, "존재"), 는 에서 가능한 변이 여야합니다. 예를 들어, 0이 아닌 확률, 0이 아닌 밀도 등을 갖습니다. 다른 한편으로, 는 알려져 있지 않기 때문에, 이전의 선택이므로, 우리는 진정한 가 우리가 선택한 따라 변할 수 있다는 보장을하지 않습니다 . $\theta$ $\theta$ $\pi$ $\theta$ $\theta$ $\pi$

이제 우리 는 가 가능한 변이가되도록 를 선택해야하는 것으로 보입니다 . 그렇지 않으면 특정 정리가 유지되지 않습니다. 예를 들어, minimax 추정값은 그 이전의 도메인에서 를 포함하여 넓은 지역을 제외함으로써 사전에 임의로 나쁘게 만들 수 있기 때문에 가장 유리한 선행에 대한 Bayes 추정치는 아닙니다 . 그러나 가 실제로 도메인에 있는지 확인하는 것은 어려울 수 있습니다. $\pi$ $\theta$ $\theta$ $\theta$

그래서 내 질문은 :

일반적으로 실제 는 의 가능한 변형 이라고 가정 합니까? $\theta$ $\pi$
이것이 보장 될 수 있습니까?
적어도 이것을 위반하는 사례가 어떻게 든 감지 될 수 있습니까? 따라서 조건이 유지되지 않을 때 minimax와 같은 이론에 의존하지 않습니까?
그것이 필요하지 않다면 왜 의사 결정 이론의 표준 결과가 유지 되는가?

— 사용자 32849
소스

답변:

아주 좋은 질문입니다! "좋은"사전 분포는 "true"매개 변수에 양의 확률 또는 양의 밀도 값을 제공하는 것이 실제로 의미가 있습니다. $\theta_0$ 그러나 순전히 결정적인 관점에서 이것은 반드시 그런 것은 아닙니다. 이 "직관"에 대한 간단한 반례

π (θ_{0}) > 0

$\pi(\theta_0)>0$ 필요할 때

π (\cdot)

$\pi(\cdot)$ 이전 밀도이며

θ_{0}

$\theta_0$ 매개 변수의 "true"값이고 Casella and Strawderman (1981) 의 뛰어난 최소값입니다 . 정규 평균을 추정 할 때

μ

$\mu$ 단일 관찰에 기초

x \sim N (μ, 1)

$x\sim{\cal N}(\mu,1)$ 추가적인 제약으로

| μ | < ρ

$|\mu|<\rho$ , 만약

ρ

$\rho$ 충분히 작습니다

ρ \leq 1.0567

$\rho\le 1.0567$ 특히, minimax 추정기는 이전에 (최소한 선호) 유니폼에 해당합니다.

{- ρ, ρ}

$\{-\rho,\rho\}$ 그 의미는

π

$\pi$ 같은 무게를 주다

- ρ

$-\rho$ 과

ρ

$\rho$ (그리고 평균의 다른 값에는 해당되지 않습니다.

μ

$\mu$ )

π (θ) = \frac{1}{2} δ_{- ρ} (θ) + \frac{1}{2} δ_{ρ} (θ)

$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$ 언제

ρ

$\rho$ 이전에지지가 증가하는 것을 보았지만 유한 한 값의 세트를 유지하는 것이 가장 유리한 것으로 나타났습니다. 그러나 사후 기대

E [μ | x]

$\mathbb{E}[\mu|x]$ 에 가치를 가질 수 있습니다

(- ρ, ρ)

$(-\rho,\rho)$ .

논의의 핵심은 (의견 참조) 베이 즈 추정기가 $\pi(\cdot)$ , 속성이 상당히 다릅니다.

유사하게, 허용 가능한 추정기를 고려할 때, 소형 세트에 대해 적절한 이전과 관련된 Bayes 추정기는 일반적으로 허용되지만 제한적인 지원이 있습니다.

두 경우 모두, 빈번주의 개념 (최소 또는 허용)은 매개 변수의 "참"값 (질문 4에 대한 답을 제공함)이 아닌 가능한 매개 변수 범위에 걸쳐 정의됩니다.

\int_{Θ} 엘 (θ, δ) π (θ | 엑스) 디 θ

$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$ 또는 베이 즈 위험

\int_{엑스} \int_{Θ} 엘 (θ, δ) π (θ) 에프 (엑스 | θ) 디 θ 디 엑스

$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$ 진정한 가치를 포함하지 않습니다

θ_{0}

$\theta_0$ .

또한, 위의 예에서 지적한 것처럼 Bayes 추정기가 사후 평균과 같은 공식적인 표현으로 정의 된 경우

{\hat{θ}}^{π} (엑스) = \int_{Θ} θ π (θ | 엑스) 디 θ

$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$ 2 차 (또는 2 차)

L_{2}

$L_2$ ) 손실,이 견적자는

π

$\pi$ 이 지원이 볼록하지 않은 경우.

따로 읽을 때

실제 θ가 데이터를 생성하려면 (즉, "존재"), θ는 π 아래에서 가능한 변동이어야합니다. 예를 들어, 0이 아닌 확률, 0이 아닌 밀도를 가짐

나는 그것이 이전의 의미를 잘못 표현한 것으로 간주한다. 이전 분포는 모수 값을 본 실제 물리적 (또는 실제) 메커니즘을 나타내지 않아야합니다. $\theta_0$ 에서 생성 $\pi$ 관찰 $x$ 에서 생성 $f(x|\theta_0)$ . 사전은 매개 변수 공간에 대한 참조 측정으로, 매개 변수에 대한 사전 정보와 주관적인 신념을 통합하며 결코 고유하지 않습니다. 베이지안 분석은 항상이 베이지안 분석을 수행하기 위해 이전에 선택한 것과 관련이 있습니다. 따라서 진정한 매개 변수가 다음을 지원하는 데 절대적으로 필요한 것은 아닙니다. $\pi$ . 이 지원이 컴팩트하게 연결된 세트 인 경우, ${\mathscr A}$ 집합 외부의 매개 변수 값 ${\mathscr A}$ 사후 평균으로 일관되게 추정 할 수 없음 $\hat{\theta}^\pi$ 그러나 이것은 추정기가 허용되는 것을 방해하지도 않습니다.

— 시안
소스

마지막 요점에 대해서는 혼란 스럽습니다.

μ

$\mu$ 충분히 작은 음수입니다. 이상한 이유로 나는 로그-노멀을 먼저 넣습니다 (지원

[0, + \infty)

$[0,+\infty)$ ) 의 위에

μ

$\mu$ (어떤 의미가 있는지에 관계없이) 그러한 사전에 따른 베이 즈 추정기는 예상되지 않는 최소 최대 추정치보다 더 나쁠 것입니다. 하지만 어쩌면 내가 여기에 뭔가 잘못 해석하는 중입니다.

— user32849

일반적으로 cf Berger (1985)는 가장 유리한 이전의 최소 위험에 해당합니다.

— 시안

나는 정말로 혼란스러워했다 : 당신의 책 (2 장)은

θ \sim π (θ)

$\theta \sim \pi(\theta)$ 특히 정리 2.4.17에서

Θ = [- m, m]

$\Theta=[-m, m]$ 여기서 가장 유리한 우선 순위는

Θ

$\Theta$ . 하지만 10 페이지를 더주의해서 읽어야한다고 생각합니다. ;-)

— user32849

통합 위험에는 어떤 단계에서도 "true"매개 변수가 포함되지 않습니다. 따라서 이런 의미에서 중요하지 않습니다.

— Xi'an

따라서 어떤면에서 위험은 실제로 경험하는 손실이 아니라 예상 손실을 포착합니다. 이것은 대단히 도움이되었습니다. 대단히 감사합니다!

— user32849

예, 일반적으로 $\theta$ 이전의 도메인에 있습니다. 이것이 사실임을 아는 것은 통계학 자의 책임입니다.
보통은 그렇습니다. 예를 들어 평균 또는 위치 매개 변수를 추정 할 때 $(-\infty, \infty)$ 도메인에 진정한 가치를 부여합니다. (매개 변수가 0보다 큰 것으로 알려진 경우 (예 : "하루에 Bay Bridge에서 평균 교통 사고 횟수") 사전에 음수 값을 포함 할 필요는 없습니다.) 확률을 추정하는 경우, 이전에 $[0,1]$ 도메인에 진정한 가치를 부여합니다. 분산 항에 대한 사전을 구성하는 경우 $(0, \infty)$ 도메인에 진정한 가치를 부여 할 것입니다.
후방이 이전 도메인의 한 쪽 가장자리에 "쌓여 있고"이전에 동일한 가장자리의 도메인에 불필요한 제한이있는 경우 이는 불필요한 제한으로 인해 문제가 발생할 수 있음을 나타내는 임시 표시기입니다. 그러나 이것은 a) 실제 사전 지식이 아닌 편의성에 의해 주로 양식을 작성하는 사전을 구성한 경우와 b) 편의로 인해 이전에 사용 된 형식이 매개 변수의 도메인을 " 자연적인 "도메인으로 간주 될 수 있습니다.

그러한 예는 잠재적 인 계산상의 어려움을 피하기 위해 0에서 약간 떨어져있는 분산 항에 대해 이전의 경계를 정하는 오래되고 오래 사용되지 않는 오래된 관행입니다. 분산의 실제 값이 경계와 0 사이에 있다면, 실제로 데이터에 주어진 분산의 잠재적 값에 대해 생각하거나 (예를 들어 분산 로그에 우선 순위를두면) 이 문제를 피하고 비슷한 온화한 영리함을 통해 일반적으로 도메인 제한 이전을 피할 수 있습니다.

# 1이 답변했습니다.

— 보보 맨
소스

답을 공감 한 사람이 돌아온 오프-기회에서 왜 "유용하지 않은가?"

— jbowman

간단하고 직관적 인 답변은 이전에 대한 사전 지식 을 사전에 반영 한다는 것입니다. $\theta$ 최소한의 지식은 그 영역에 관한 것입니다. 경계를 미리 사용하는 경우 경계 외부의 값이 0 일 가능성이없고 불가능하다는 가정하에, 이는 합리적인 근거가 없어서는 안되는 매우 강력한 가정입니다. 이것이 강력한 사전 가정을 원하지 않는 사람들이 모호한 사전을 사용하는 이유입니다. $-\infty$ 에 $\infty$ .

한정된 경우 외에, 표본이 자라거나 더 많은 정보를 더 정확하게 전달할 때 후부는 최종적으로 수렴해야합니다. $\theta$ 이전과 상관없이 .

— 팀
소스