Jeffreys와 달리 이전 버전의 예는 변하지 않는 후부로 이어집니다.

2 주 전에 여기에했던 질문에 대한 "답변"을 다시 게시하고 있습니다. 왜 Jeffreys가 이전에 유용합니까? 그것은 실제로 질문이었습니다 (그리고 당시에 의견을 게시 할 권리도 없었습니다). 그래서 나는 이것을 할 수 있기를 바랍니다.

위의 링크에서 Jeffreys의 흥미로운 특징은 모델을 다시 매개 변수화 할 때 결과로 발생하는 후방 분포가 변형에 의해 부과 된 제한 사항을 따르는 후방 확률을 제공한다는 것입니다. 거기에서 논의한 것처럼 Beta-Bernoulli 예제 의 성공 확률 $\theta$ 에서 승산 이동할 때 , 후방이 만족시키는 경우가되어야합니다. 입니다.$\psi=\theta/(1-\theta)$$P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$

나는 를 승산 로 변환하기 전에 Jeffreys의 불변에 대한 수치 적 예를 만들고 싶었고 , 더 흥미롭게도 다른 이전의 부족 (예 : Haldane, 균일 또는 임의의 것)이 부족했습니다.$\theta$$\psi$

성공 확률의 후부가 베타 인 경우 (제프리뿐만 아니라 이전의 모든 베타의 경우) 확률의 후부 는 동일한 매개 변수를 가진 두 번째 종류 (위키 백과 참조)의 베타 분포를 따릅니다 . 아래의 수치 예에서 강조 그런 다음, 너무 불변이 있음을 (적어도 나에게) 놀라운 일이 아니다 이전에 베타의 선택을위한 (함께 놀러 alpha0_U와 beta0_U)뿐만 아니라 제프리스, 참조 프로그램의 출력

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

이것은 다음과 같은 질문으로 이어집니다.

1. 내가 실수를합니까?
2. 그렇지 않다면, 켤레 패밀리에 불변성이없는 것과 같은 결과가 있습니까? (빠른 검사는 예를 들어 정상적인 정상 사례에서 불변성을 생성 할 수 없다는 것을 의심하게 만듭니다.)
3. 우리 가 불변성이 부족한 (바람직하게 간단한) 예를 알고 있습니까?

귀하의 계산은 우리가 특정 사전 분포 가질 때 다음 두 절차를 확인하는 것으로 보입니다.$p(\theta)$

1. 사후 $p_{\theta \mid D}(\theta \mid D)$
2. 수득 다른 파라미터 화에 상기 후방 변형 $p_{\psi \mid D}(\psi \mid D)$

과

1. 이전 를 다른 매개 변수로 변환하여 p ψ ( ψ ) 를 구합니다.$p_\theta(\theta)$$p_\psi(\psi)$
2. 이전 를 사용하여 사후 p ψ ∣ D ( ψ ∣ D )를 계산합니다$p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

의 동일한 후부로 이어 집니다. 이것은 실제로 항상 발생합니다 (캐비티 : 변형이 ψ 에 대한 분포에 의해 θ에 의해 결정되는 한 변형 ).$\psi$$\psi$$\theta$

그러나 이것은 문제의 불일치가 아닙니다. 대신, 문제는 우리가 사전 결정을위한 특정한 방법이있을 때 다음 두 가지 절차가 있는지 여부입니다.

1. 를 결정하기 위해 사전 결정 방법을 사용하십시오$p_\theta(\theta)$
2. 분포를 로 변환$p_\psi(\psi)$

과

1. 를 결정하기위한 사전 결정 방법을 사용$p_\psi(\psi)$

$\psi$

$\theta$$[0,1]$$\psi$$[0,\infty)$

$\theta$$\psi$$\psi$

데이터에 의해 유발 된 가능성이 매개 변수화에 영향을받지 않는지 확인하는 것으로 보입니다. 이는 매개 변수화와 관련이 없습니다.

사전 선택 방식이 예를 들어 "일관된 사전 선택"인 경우, 한 매개 변수에서 균일 한 것 (예 : Beta (즉, Beta (1,1))이 다른 매개 변수에서는 균일하지 않습니다 (예 : BetaPrime (1,1)). ) (비뚤어 짐) — 그러한 것이 존재하는 경우 BetaPrime (1, -1)은 균일합니다.

Jeffreys 이전은 매개 변수화에서 변하지 않는 유일한 "사전 선택 방법"입니다. 따라서 이전의 다른 방법을 선택하는 것보다 덜 가정적입니다.