베이지안 확률 관점에서 95 % 신뢰 구간에 95 % 확률의 실제 모수가 포함되지 않는 이유는 무엇입니까?

14

신뢰 구간 에 대한 Wikipedia 페이지에서 :

... 반복 된 (그리고 아마도 다른) 실험에 대한 많은 별도의 데이터 분석에서 신뢰 구간이 구성된 경우 매개 변수의 실제 값을 포함하는 이러한 구간의 비율은 신뢰 수준과 일치합니다.

그리고 같은 페이지에서 :

신뢰 구간은 모수의 실제 값이 실제로 얻은 데이터를 감안할 때 신뢰 구간에있을 확률이 있음을 예측 하지 않습니다 .

내가 올바르게 이해했다면,이 마지막 진술은 잦은 확률에 대한 해석을 염두에두고 만들어졌다. 그러나 베이지안 확률 관점에서 95 % 신뢰 구간에 95 % 확률의 실제 모수가 포함되지 않는 이유는 무엇입니까? 그렇지 않은 경우 다음과 같은 추론 에서 무엇이 잘못 되었습니까?

내가 알고있는 프로세스가 95 %의 정답을 생성하면 다음 답변이 올 확률은 0.95입니다 (프로세스에 대한 추가 정보가 없기 때문에). 마찬가지로 누군가 95 %의 실제 모수를 포함하는 프로세스에 의해 생성 된 신뢰 구간을 보여 주면 내가 아는 것을 감안할 때 0.95 확률의 실제 모수를 포함한다고 말하는 것이 옳지 않습니까?

이 질문은 95 % CI가 평균을 포함 할 확률이 95 %라는 것을 의미하지 않는 이유 와 비슷하지만 동일 하지는 않습니다. 이 질문에 대한 답은 95 % CI가 잦은 관점에서 평균을 포함 할 가능성이 95 %라는 것을 의미하지 않는 이유에 초점을 맞추고 있습니다. 내 질문은 동일하지만 베이지안 확률 관점에서.

bayesian confidence-interval

— 라스무스 보아스
소스

CI를 95 %로 생각하는 한 가지 방법은 "장기 평균"입니다. 이제 "단기"사례를 분할하여 상당히 임의의 적용 범위를 확보 할 수있는 여러 가지 방법이 있습니다. 또,보다 추상적 방식으로 생성되는

x_{i} \sim B e r n o u l l i (p_{i})

$x_i\sim Bernoulli (p_i)$ 에 대한

i = 1, 2, \dots

$i=1, 2,\dots$ 되도록

\sum_{i = 1}^{\infty} p_{i} = 0.95

$\sum_{i=1}^{\infty} p_i=0.95$ . 이 작업을 수행 할 수있는 방법은 무한합니다. 여기에

x_{i}

$x_i$ i 번째 데이터 세트로 작성된 CI에 매개 변수가 포함되어 있는지 여부를 표시하며, 이 경우의 적용 확률은

p_{i}

$p_i$ 입니다.

— probabilityislogic

11

업데이트 : 몇 년간의 후 시점을 바탕 으로 비슷한 질문에 대한 응답으로 본질적으로 동일한 자료를 보다 간결하게 처리했습니다 .

신뢰 영역을 구성하는 방법

신뢰 영역을 구성하는 일반적인 방법으로 시작하겠습니다. 신뢰 구간 또는 구간 세트를 생성하기 위해 단일 매개 변수에 적용 할 수 있습니다. 더 큰 치수 신뢰 영역을 생성하기 위해 두 개 이상의 매개 변수에 적용 할 수 있습니다.

우리는 관찰 된 통계가 주장 $D$ 매개 변수와 분포에서 발생 $\theta$ , 즉 샘플링 분포 $s(d|\theta)$ 가능한 통계를 통해 $d$ , 그리고에 대한 신뢰 지역 추구 $\theta$ 가능한 값의 집합에 $\Theta$ . HDR (Highest Density Region) 정의 : PDF 의 $h$ - HDR 은 확률 $h$ 를 지원하는 도메인의 가장 작은 하위 집합입니다 . 나타내고 $h$ 의 -HDR $s(d|\psi)$ 로서 $H_\psi$ 임의 들어 $\psi \in \Theta$ . 그런 다음데이터 가주어지면 에대한 $h$ 신뢰 영역은 세트 입니다. 의 일반적인 값은0.95입니다. $\theta$ $D$ $C_D = \{ \phi : D \in H_\phi \}$ $h$

빈번한 해석

신뢰 영역의 이전 정의에서

d \in H_{ψ} ⟷ ψ \in C_{d}

$d \in H_\psi \longleftrightarrow \psi \in C_d$ 를

. 이제 (대규모 세트 상상 상상 ) 관찰

와 유사한 상황에서 촬영,

. 즉,

샘플입니다 . 사람

지지체 확률 질량

PDF 파일에의

C_{d} = {ϕ : d \in H_{ϕ}}

$C_d = \{ \phi : d \in H_\phi \}$

{D_{i}}

$\{D_i\}$

D

$D$

s (d | θ)

$s(d|\theta)$

H_{θ}

$H_\theta$

h

$h$

s (d | θ)

$s(d|\theta)$ ,

P (D_{i} \in H_{θ}) = h

$P(D_i \in H_\theta) = h$ 모든

i

$i$ . 따라서 분율

{D_{i}}

$\{D_i\}$ 있는IS. 그리고, 위의 동등한 사용 분율있는또한.

D_{i} \in H_{θ}

$D_i \in H_\theta$

h

$h$

{D_{i}}

$\{D_i\}$

θ \in C_{D_{i}}

$\theta \in C_{D_i}$

h

$h$

그렇다면 이것은 대한 신뢰 구간에 대한 빈번한 주장이다. $h$ $\theta$ 같습니다.

가상 관찰의 큰 숫자를 가지고 $\{D_i\}$ 샘플링 분포 $s(d|\theta)$ 관찰 된 통계에 상승 준 $D$ . 그런 다음, $\theta$ 는 유사하지만 상상의 신뢰 영역 의 분수 $h$ 내에있다 . $\{C_{D_i}\}$

신뢰 지역 $C_D$ 그러므로 확률에 대해 그 어떤 주장을하지 않습니다 $\theta$ 거짓말 어딘가에! 그 이유는 단순히 우리가 $\theta$ 에 대한 확률 분포에 대해 말할 수있는 fomulation에 아무것도 없기 때문입니다 . 해석은 단지 정교한 상부 구조이며, 기초를 향상시키지 않습니다. 밑은 $s(d | \theta)$ 및 $D$ 이며, 여기서 $\theta$ 는 분배 된 수량으로 나타나지 않으며,이를 해결하기 위해 사용할 수있는 정보가 없습니다. 기본적으로 $\theta$ 대한 분포를 얻는 두 가지 방법이 있습니다 .

현재 정보에서 직접 분포를 지정하십시오 : $p(\theta | I)$ .
연관 $\theta$ 다른 분산 수량 : $p(\theta | I) = \int p(\theta x | I) dx = \int p(\theta | x I) p(x | I) dx$ .

두 경우 모두 $\theta$ 가 왼쪽 어딘가에 나타나야합니다. 빈번한 사람들은 둘 다 이단적인 선행이 필요하기 때문에 어느 방법도 사용할 수 없습니다.

베이지안보기

베이지안가로 만들 수있는 가장 $h$ 신뢰 영역 $C_D$ 자격없이 소정가 단순히 직접 해석 : 그것은 집합임을 $\phi$ 하는 $D$ 폭포가 $h$ -HDR $H_\phi$ 샘플링 분포 $s(d|\phi)$ . 반드시 우리에게 $\theta$ 에 대해 많은 것을 말하지는 않으며 , 그 이유가 있습니다.

와 배경 정보 주어진 $\theta \in C_D$ 확률은 다음 과 같습니다. $D$ $I$

\begin{aligned} P (θ \in C_{D} | D I) & = \int_{C_{D}} p (θ | D I) d θ \\ = \int_{C_{D}} \frac{p (D | θ I) p (θ | I)}{p (D | I)} d θ \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \int_{C_D} p(\theta | DI) d\theta \\ &= \int_{C_D} \frac{p(D | \theta I) p(\theta | I)}{p(D | I)} d\theta \end{align*}$ 잦은 해석과 달리 우리는

θ

$\theta$ 대한 분포를 즉시 요구했습니다. 배경 정보

I

$I$ 샘플링 분포 즉, 이전과 같이, 우리에게

s (d | θ)

$s(d | \theta)$ :

\begin{aligned} P (θ \in C_{D} | D I) & = \int_{C_{D}} \frac{s (D | θ) p (θ | I)}{p (D | I)} d θ \\ = \frac{\int_{C_{D}} s (D | θ) p (θ | I) d θ}{p (D | I)} \\ i.e. P (θ \in C_{D} | D I) & = \frac{\int_{C_{D}} s (D | θ) p (θ | I) d θ}{\int s (D | θ) p (θ | I) d θ} \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \int_{C_D} \frac{s(D | \theta) p(\theta | I)}{p(D | I)} d \theta \\ &= \frac{\int_{C_D} s(D | \theta) p(\theta | I) d\theta}{p(D | I)} \\ \text{i.e.} \quad\quad P(\theta \in C_D | DI) &= \frac{\int_{C_D} s(D | \theta) p(\theta | I) d\theta}{\int s(D | \theta) p(\theta | I) d\theta} \end{align*}$ 이제이 식은 일반적으로

h

$h$ 평가되지 않습니다.즉,

h

$h$ 신뢰 영역

C_{D}

$C_D$ 항상

있는

θ

$\theta$ 가포함되는 것은 아닙니다. 실제로 그것은

완전히 다를 수 있습니다. 이있는 많은 일반적인 상황, 그러나이있다않는로 평가

신뢰 영역이 우리의 확률 직관과 자주 일치하는 이유입니다.

h

$h$

h

$h$

h

$h$

예를 들어, $d$ 와 $\theta$ 의 선행 조인트 PDF 가 $p_{d,\theta}(d,\theta | I) = p_{d,\theta}(\theta,d | I)$ 에서 대칭 이라고 가정합니다 . (이것은 PDF가 $d$ 와 $\theta$ 에서 같은 도메인에 걸쳐 있다고 가정합니다 .) 그러면, 선행이 $p(\theta | I) = f(\theta)$ 이면, 우리는 $s(D | \theta) p(\theta | I) = s(D | \theta) f(\theta) = s(\theta | D) f(D)$ . 따라서

\begin{aligned} P (θ \in C_{D} | D I) & = \frac{\int_{C_{D}} s (θ | D) d θ}{\int s (θ | D) d θ} \\ i.e. P (θ \in C_{D} | D I) & = \int_{C_{D}} s (θ | D) d θ \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \frac{\int_{C_D} s(\theta | D) d\theta}{\int s(\theta | D) d\theta} \\ \text{i.e.} \quad\quad P(\theta \in C_D | DI) &= \int_{C_D} s(\theta | D) d\theta \end{align*}$ HDR의 정의에서 우리는 모든

ψ \in Θ

$\psi \in \Theta$

\begin{aligned} \int_{H_{ψ}} s (d | ψ) d d & = h \\ and therefore that \int_{H_{D}} s (d | D) d d & = h \\ or equivalently \int_{H_{D}} s (θ | D) d θ & = h \end{aligned}

$\begin{align*} \int_{H_\psi} s(d | \psi) dd &= h \\ \text{and therefore that} \quad\quad \int_{H_D} s(d | D) dd &= h \\ \text{or equivalently} \quad\quad \int_{H_D} s(\theta | D) d\theta &= h \end{align*}$ 따라서 주어진

s (d | θ) f (θ) = s (θ | d) f (d)

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ ,

C_{D} = H_{D}

$C_D = H_D$ 암시

P (θ \in C_{D} | D I) = h

$P(\theta \in C_D | DI) = h$ . 선행자는

만족시킨다

C_{D} = H_{D} ⟷ \forall ψ [ψ \in C_{D} \leftrightarrow ψ \in H_{D}]

$C_D = H_D \longleftrightarrow \forall \psi \; [ \psi \in C_D \leftrightarrow \psi \in H_D ]$ 상단 근처에 동등성 적용 :

C_{D} = H_{D} ⟷ \forall ψ [D \in H_{ψ} \leftrightarrow ψ \in H_{D}]

$C_D = H_D \longleftrightarrow \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$ Thus, the confidence region

C_{D}

$C_D$ contains

θ

$\theta$ with probability

h

$h$ if for all possible values

ψ

$\psi$ of

θ

$\theta$ , the

h

$h$ -HDR of

s (d | ψ)

$s(d | \psi)$ contains

D

$D$ if and only if the

h

$h$ -HDR of

s (d | D)

$s(d | D)$ contains

ψ

$\psi$ .

Now the symmetric relation $D \in H_\psi \leftrightarrow \psi \in H_D$ is satisfied for all $\psi$ when $s(\psi + \delta | \psi) = s(D - \delta | D)$ for all $\delta$ that span the support of $s(d | D)$ and $s(d | \psi)$ . We can therefore form the following argument:

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ (premise)
$\forall \psi \; \forall \delta \; [ s(\psi + \delta | \psi) = s(D - \delta | D) ]$ (premise)
$\forall \psi \; \forall \delta \; [ s(\psi + \delta | \psi) = s(D - \delta | D) ] \longrightarrow \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$
$\therefore \quad \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$
$\forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ] \longrightarrow C_D = H_D$
$\therefore \quad C_D = H_D$
$[s(d | \theta) f(\theta) = s(\theta | d) f(d) \wedge C_D = H_D] \longrightarrow P(\theta \in C_D | DI) = h$
$\therefore \quad P(\theta \in C_D | DI) = h$

Let's apply the argument to a confidence interval on the mean of a 1-D normal distribution $(\mu, \sigma)$ , given a sample mean $\bar{x}$ from $n$ measurements. We have $\theta = \mu$ and $d = \bar{x}$ , so that the sampling distribution is

s (d | θ) = \frac{\sqrt{n}}{σ \sqrt{2 π}} e^{- \frac{n}{2 σ^{2}} {(d - θ)}^{2}}

$s(d | \theta) = \frac{\sqrt{n}}{\sigma \sqrt{2 \pi}} e^{-\frac{n}{2 \sigma^2} { \left( d - \theta \right) }^2 }$ Suppose also that we know nothing about

θ

$\theta$ before taking the data (except that it's a location parameter) and therefore assign a uniform prior:

f (θ) = k

$f(\theta) = k$ . Clearly we now have

s (d | θ) f (θ) = s (θ | d) f (d)

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ , so the first premise is satisfied. Let

s (d | θ) = g ((d - θ)^{2})

$s(d | \theta) = g\left( (d - \theta)^2 \right)$ . (i.e. It can be written in that form.) Then

\begin{matrix} s (ψ + δ | ψ) = g ((ψ + δ - ψ)^{2}) = g (δ^{2}) \\ and s (D - δ | D) = g ((D - δ - D)^{2}) = g (δ^{2}) \\ so that \forall ψ \forall δ [s (ψ + δ | ψ) = s (D - δ | D)] \end{matrix}

$\begin{gather*} s(\psi + \delta | \psi) = g \left( (\psi + \delta - \psi)^2 \right) = g(\delta^2) \\ \text{and} \quad\quad s(D - \delta | D) = g \left( (D - \delta - D)^2 \right) = g(\delta^2) \\ \text{so that} \quad\quad \forall \psi \; \forall \delta \; [s(\psi + \delta | \psi) = s(D - \delta | D)] \end{gather*}$ whereupon the second premise is satisfied. Both premises being true, the eight-point argument leads us to conclude that the probability that

θ

$\theta$ lies in the confidence interval

C_{D}

$C_D$ is

h

$h$ !

We therefore have an amusing irony:

The frequentist who assigns the $h$ confidence interval cannot say that $P(\theta \in C_D) = h$ , no matter how innocently uniform $\theta$ looks before incorporating the data.
The Bayesian who would not assign an $h$ confidence interval in that way knows anyhow that $P(\theta \in C_D | DI) = h$ .

Final Remarks

We have identified conditions (i.e. the two premises) under which the $h$ confidence region does indeed yield probability $h$ that $\theta \in C_D$ . A frequentist will baulk at the first premise, because it involves a prior on $\theta$ , and this sort of deal-breaker is inescapable on the route to a probability. But for a Bayesian, it is acceptable---nay, essential. These conditions are sufficient but not necessary, so there are many other circumstances under which the Bayesian $P(\theta \in C_D | DI)$ equals $h$ . Equally though, there are many circumstances in which $P(\theta \in C_D | DI) \ne h$ , especially when the prior information is significant.

We have applied a Bayesian analysis just as a consistent Bayesian would, given the information at hand, including statistics $D$ . But a Bayesian, if he possibly can, will apply his methods to the raw measurements instead---to the $\{x_i\}$ , rather than $\bar{x}$ . Oftentimes, collapsing the raw data into summary statistics $D$ destroys information in the data; and then the summary statistics are incapable of speaking as eloquently as the original data about the parameters $\theta$ .

— CarbonFlambe--Reinstate Monica
소스

Would it be correct to say that a Bayesian is committed to take all the available information into account, while interpretation given in the question ignored D in some sense?

— qbolec

Is it a good mental picture to illustrate the situation: imagine a grayscale image, where intensity of pixel x,y is the joint ppb of real param being y and observed stat being x. In each row y, we mark pixels which have 95% mass of the row. For each observed stat x, we define CI(x) to be the set of rows which have marked pixels in column x. Now, if we choose x,y randomly then CI(x) will contain y iff x,y was marked, and mass of marked pixels is 95% for each y. So, frequentists say that keeping y fixed, chance is 95%, OP says, that not fixing y also gives 95%, and bayesians fix y and don't know

— qbolec

@qbolec It is correct to say that in the Bayesian method one cannot arbitrarily ignore some information while taking account of the rest. Frequentists say that for all

y

$y$ the expectation of

y \in C I (x)

$y \in \mathrm{CI}(x)$ (as a Boolean integer) under the sampling distribution

p r o b (x | y, I)

$\mathrm{prob}(x\, |\, y, I)$ is 0.95. The frequentist 0.95 is not a probability but an expectation.

— CarbonFlambe--Reinstate Monica

6

from a Bayesian probability perspective, why doesn't a 95% confidence interval contain the true parameter with 95% probability?

Two answers to this, the first being less helpful than the second

There are no confidence intervals in Bayesian statistics, so the question doesn't pertain.
In Bayesian statistics, there are however credible intervals, which play a similar role to confidence intervals. If you view priors and posteriors in Bayesian statistics as quantifying the reasonable belief that a parameter takes on certain values, then the answer to your question is yes, a 95% credible interval represents an interval within which a parameter is believed to lie with 95% probability.

If I have a process that I know produces a correct answer 95% of the time then the probability of the next answer being correct is 0.95 (given that I don't have any extra information regarding the process).

yes, the process guesses a right answer with 95% probability

Similarly if someone shows me a confidence interval that is created by a process that will contain the true parameter 95% of the time, should I not be right in saying that it contains the true parameter with 0.95 probability, given what I know?

Just the same as your process, the confidence interval guesses the correct answer with 95% probability. We're back in the world of classical statistics here: before you gather the data you can say there's a 95% probability of randomly gathered data determining the bounds of the confidence interval such that the mean is within the bounds.

With your process, after you've gotten your answer, you can't say based on whatever your guess was, that the true answer is the same as your guess with 95% probability. The guess is either right or wrong.

그리고 신뢰 구간의 경우 프로세스와 동일하게 데이터를 가져오고 실제 하한과 상한을 얻은 후 평균은 해당 범위 내에 있거나 그렇지 않은 경우, 즉 평균의 가능성 그 특정 범위 내에서 1 또는 0 (데이 미끄러 중 하나입니다 당신이 참조 질문 을이이 훨씬 더 자세히 설명 보인다.)

베이지안 확률 뷰에 가입 한 경우 제공되는 신뢰 구간 해석 방법

이것을 보는 몇 가지 방법이 있습니다

기술적으로 신뢰 구간은 사전 및 베이 즈 정리를 사용하여 생성되지 않았으므로 관련 매개 변수에 대한 사전 신뢰가있는 경우 베이지안 프레임 워크에서 신뢰 구간을 해석 할 수있는 방법이 없습니다.
Another widely used and respected interpretation of confidence intervals is that they provide a "plausible range" of values for the parameter (see, e.g., here). This de-emphasises the "repeated experiments" interpretation.

Moreover, under certain circumstances, notably when the prior is uninformative (doesn't tell you anything, e.g. flat), confidence intervals can produce exactly the same interval as a credible interval. In these circumstances, as a Bayesianist you could argue that had you taken the Bayesian route you would have gotten exactly the same results and you could interpret the confidence interval in the same way as a credible interval.

— TooTone
소스

but for sure confidence intervals exist even if I subscribe to a bayesian view of probability, they just wont dissapear, right? :)The situation I was asking about was how to interpret a confidence interval given to you if you subscribe to a Bayesian view of probability.

— Rasmus Bååth

The problem is that confidence intervals aren't produced using a Bayesian methodology. You don't start with a prior. I'll edit the post to add something which might help.

— TooTone

2

I'll give you an extreme example where they are different.

Suppose I create my 95% confidence interval for a parameter $\theta$ as follows. Start by sampling the data. Then generate a random number between $0$ and $1$ . Call this number $u$ . If $u$ is less than $0.95$ then return the interval $(-\infty,\infty)$ . Otherwise return the "null" interval.

Now over continued repititions, 95% of the CIs will be "all numbers" and hence contain the true value. The other 5% contain no values, hence have zero coverage. Overall, this is a useless, but technically correct 95% CI.

The Bayesian credible interval will be either 100% or 0%. Not 95%.

— probabilityislogic
소스

So is it correct to say that before seeing a confidence interval there is a 95% probability that it will contain the true parameter, but for any given confidence interval the probability that it covers the true parameter depends on the data (and our prior)? To be honest, what I'm really struggling with is how useless confidence intervals sounds (credible intervals I like on the other hand) and the fact that I never the less will have to teach them to our students next week... :/

— Rasmus Bååth

This question has some more examples, plus a very good paper comparing the two approaches

— probabilityislogic

1

"from a Bayesian probability perspective, why doesn't a 95% confidence interval contain the true parameter with 95% probability? "

In Bayesian Statistics the parameter is not a unknown value, it is a Distribution. There is no interval containing the "true value", for a Bayesian point of view it does not even make sense. The parameter it's a random variable, you can perfectly know the probability of that value to be between x_inf an x_max if you know the distribuition. It's just a diferent mindset about the parameters, usually Bayesians used the median or average value of the distribuition of the parameter as a "estimate". There is not a confidence interval in Bayesian Statistics, something similar is called credibility interval.

Now from a frequencist point of view, the parameter is a "Fixed Value", not a random variable, can you really obtain probability interval (a 95% one) ? Remember that it's a fixed value not a random variable with a known distribution. Thats why you past the text :"A confidence interval does not predict that the true value of the parameter has a particular probability of being in the confidence interval given the data actually obtained."

The idea of repeating the experience over and over... is not Bayesian reasoning it's a Frequencist one. Imagine a real live experiment that you can only do once in your life time, can you/should you built that confidence interval (from the classical point of view )?.

But... in real life the results could get pretty close ( Bayesian vs Frequencist), maybe thats why It could be confusing.

— blew
소스