적절한 사전 및 지수 가능성은 부적절한 후부로 이어질 수 있습니까?

(이 질문은 Xi'an 의이 의견 에서 영감을 얻었습니다 .)

이전 분포 가 적절하고 가능성 이 잘 정의되어 있으면 사후 분포 은 거의 확실합니다. $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

경우에 따라 강화 또는 지수화 가능성을 대신 사용하여 의사-후 위로 이어집니다.

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$

일부 (예 : 계산상의 이점이있을 수 있음).

α > 0

$\alpha>0$

이 설정에서는 적절한 사전이지만 부적절한 의사-후방을 가질 수 있습니까?

bayesian prior posterior

— 로빈 라이더
소스

사실, 몇 분 후, 이전 x 우도 ^ α 곱을 고려할 때 이전 x 우도 곱의 발산이 줄어들 기 때문에 가능성이 거의 없을 것으로 생각됩니다. 그리고 더 느리게 0이되는 용어는 적절한 사전에 의해 제어됩니다. 따라서 내 생각에는 이것이 불가능하다는 것입니다. (경고 : 나는 틀린 것으로 알려졌다!)

— Xi'an

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

이 인수가 에서도 작동 합니까? 또한 이러한 방식으로 구성된 가능성이 적절하다는 것을 증명할 수있는 방법이 있습니까?

α < 1

$\alpha < 1$

— InfProbSciX

실제로, , 우리는 알기 때문에 RHS의 최상위는 항상 유한하며 , 하나는 Jensen 인수를 사용하여 동일한 추론을합니다. 따라서 논쟁은 그런 점에서 실패합니다. 이 인수는 무한한 가능성 이 성공하기 위해 필요합니다 . 즉, 모든 대해 입니다 .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— πr8

사실, 이면 좋은 점을 만들 수 없습니다! 나는 무한한 가능성의 예를보고 매혹 될 것이라고 말해야한다 . 아마도 베타 후부는 아마도 무한한 가능성의 결과 일 것입니다.

α = 1

$\alpha = 1$

— InfProbSciX

답변:

를 들어 , 아마도이이 같은 후방을 구성하는 것은 불가능 것을 보여 인수는? $\alpha \leq 1$

가 가능한지 알고 싶습니다 . $\int \tilde \pi(\theta|x)d\theta = \infty$

RHS에서 :

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

만약 , 그래서 젠센 부등식으로 오목 함수이다 : $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... 시안이 지적한 는 정규화 상수 (증거)입니다. $m(x)$

— InfProbSciX
소스

깔끔합니다, 고마워요 나는 당신이 의 후부가 적절 하다는 사실을 사용하고 있다는 것을 좋아합니다 .

α = 1

$\alpha=1$

— Robin Ryder

@InfProbSciX의 답변에 결과를 사용하여 결과를 일반적으로 증명할 수 있습니다. 를 다시 씁니다 경우 우리가 알고 있기 때문에, 우리는 위의 젠슨의 불평등 사례를 normalisable입니다. 마찬가지로 이면 를 쓸 수 있습니다 가 정규화 가능 하다는 것을 알기 때문에 다시 같은 경우에 해당 합니다. 이제 (강력한) 유도를 사용하여 일반적으로 사례를 보여줄 수 있습니다. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

이전 의견

이것이 유용한 지 확실하지는 않지만 주석을 달 수 없으므로 이것을 대답으로 남겨 두겠습니다. 에 대한 @InfProbSciX의 탁월한 언급 외에도 라는 추가 가정을하면, 적절한 사전은 아니지만 부적절한 의사-후문을 가질 수 없습니다. 대 . 예를 들어, 의 두 번째 ( -th) 모멘트가 존재한다는 것을 알고 있다면 ( )에 있으며 의사-포어는 . 이 노트의 섹션 1 $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ pdfs 의 클래스가 얼마나 넓은 지 명확하지 않지만 불행히도 . 내가 여기서 돌아 서서 말하면 사과드립니다, 나는 이것을 의견으로 남기고 싶었습니다. $L^{10}$

— 루이즈 맥스 카르발류
소스

우도 함수 가 공간 내에 있다면, 즉 공간이 이전에 의해 유도 된 측정 값을 갖는 경우 후자는 합니다. 나는 여기서 완전히 추측하고 있지만, 그 공간은 우리가 생각할 수있는 대부분의 가능성을 포괄 할 것이라고 생각합니다. 가 리만 (Riemann)이 적분 할 수 있다면 , 그 긍정적 인 힘도 있다는 증거를 읽었을 것입니다. 는 통합 가능합니다. 참고로 정리 1.26

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@ InfProbSciX, 여기 그림자에 완전한 증거가 숨어있을 수 있다고 생각합니다. 나는 당신의 대답에서 가 음수 일 수 있다고 생각합니다. 그것이 맞다면, 경우, 적분 함수의 역수가 적분되기 때문에 유사 가능성이 적분 됨을 보여줄 수 있습니다 . 그리고 가능성이 적분 가능한 경우, 이전의 한계가 있기 때문에 후방이 적분 될 것이라고 주장하며, 적분 및 한계 함수의 곱은 적분 가능합니다 ( math.stackexchange.com/a/56008/271610 ). 당신이 무슨 생각을하는지 제게 알려주세요.

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho

질문이 명시 적으로 다르게 가정하기 때문에 인 경우를 무시할 수 있다고 생각합니다 . 일반적인 경우에 대한 의 통합 성을 보여 주어야 합니다. 또한 이전의 경계가 항상 제한되어 있는지 확실하지 않습니다. 예를 들어 의 밀도 는 그렇지 않습니다.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

@InfProbSciX, 내가 의미하는 것은 이 문제가 아니더라도, 그 증거도 그 조건을 유지한다면, 우리는 가 적분 할 수 있다는 사실을 활용하여 에 대한 적분 성을 나타낼 수 있다는 것입니다 인 . 당신이 말했듯이, 이전이 제한되지 않으면 그 모든 것이 0이 아닙니다. 우리는 대신 가능성을 제한하려고 시도 할 수 있으며 MLE에서 사용할 가능성은 경계가 있거나 강하게 오목해야합니다 ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ). 일반적인 증거를 작성하십시오. 이견있는 사람?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho

미안, 나는 그것을 그리워했다, 그렇습니다 그것은 재미있는 시도를하는 것처럼 보인다!

— InfProbSciX