31

나는 베이지안 통계를 처음 접했고 이것은 어리석은 질문 일 수 있습니다. 그렇지만:

균일 분포를 지정하는 사전에 신뢰할 수있는 구간을 고려하십시오. 예를 들어 0에서 1까지입니다. 여기서 0에서 1은 효과의 가능한 모든 값을 나타냅니다. 이 경우 95 % 신뢰할 수있는 구간이 95 % 신뢰 구간과 같습니까?

— 포모 도로
소스

23

많은 잦은 신뢰 구간 (CI)은 우도 함수를 기반으로합니다. 이전 분포가 실제로 정보가없는 경우 베이지안 후자는 본질적으로 우도 함수와 동일한 정보를 갖습니다. 결과적으로, 실제로 베이지안 확률 구간 (또는 신뢰할 수있는 구간)은 잦은 신뢰 구간 과 수치 적 으로 매우 유사 할 수 있습니다 . [물론 수치 적으로 비슷하더라도 잦은 빈도와 베이지안 간격 추정치 사이 에는 해석상의 철학적 차이가 있습니다.]

다음은 이항성 성공 확률 추정하는 간단한 예 성공으로 관측치 (시험판) 가 있다고 가정 합니다. $\theta.$ $n = 100$ $X = 73$

Frequentist : 전통적인 Wald 간격 은 점 추정치 그리고, 95 % CI의 형식이다 할 계산해 $\hat \theta = X/n = 73/100 = 0.73.$

\hat{θ} \pm 1.96 \sqrt{\frac{\hat{θ} (1 - \hat{θ})}{n}},

$\hat \theta \pm 1.96\sqrt{\frac{\hat \theta(1-\hat \theta)} {n}},$

(0.643, 0.817) .

$(0.643,\,0.817).$

n = 100;  x = 73;  th.w = x/n;  pm = c(-1,1)
ci.w = th.w + pm*1.96*sqrt(th.w*(1-th.w)/n);  ci.w
[1] 0.6429839 0.8170161

이 CI 형식은 관련 이항 분포가 정규 분포에 의해 근사 될 수 있고 오류 마진 이 특히 작은 이러한 가정이 사실 일 필요는 없습니다. [ 또는 가 특히 문제가됩니다.] $\sqrt{\theta(1-\theta)/n}$ $\sqrt{\hat\theta(1-\hat\theta)/n}.$ $n,$ $X = 0$ $X = n$

Agresti Coull-CI는 보다 정확한 적용 가능성을 가지는 것으로 밝혀졌다. 이 간격은 커버리지 확률을 95 %에 가깝게하는 속임수로 '두 번의 성공과 두 번의 실패'를 추가합니다. 시작점 여기서 . 95 % CI는 은 계산됩니다들면 및 신뢰 구간이 두 스타일의 차이는 거의 무시할 수있다. $\tilde \theta = (X+2)/\tilde n,$ $\tilde n + 4.$

\tilde{θ} \pm 1.96 \sqrt{\frac{\tilde{θ} (1 - \tilde{θ})}{\tilde{n}}},

$\tilde \theta \pm 1.96\sqrt{\frac{\tilde \theta(1-\tilde \theta)} {\tilde n}},$

(0.612, 0.792) .

$(0.612, 0.792).$

n > 100

$n > 100$

0.3 < \tilde{θ} < 0.7,

$0.3 < \tilde \theta < 0.7,$

ci.a = th.a + pm*1.96*sqrt(th.a*(1-th.a)/n);  ci.a
[1] 0.6122700 0.7915761

베이지안 : 이 상황 이전의 인기있는 비 정보적인 정보 중 하나는우도 함수는 비례합니다 이전과 가능성의 커널을 곱하면 사후 분포 의 커널이 $\mathsf{Beta}(1,1) \equiv \mathsf{Unif}(0,1).$ $\theta^x(1-\theta)^{n-x}.$ $\mathsf{Beta}(x+1,\, n-x+1).$

그런 다음 95 % 베이지안 간격 추정값은 사후 분포의 0.025 및 0.975를 Quantile 사전 분포가 '평평한'또는 '비 정보 적'인 경우 베이지안 확률 구간과 Agresti-Coull 신뢰 구간 간의 수치 차이는 미미합니다. $(0.635, 0.807).$

qbeta(c(.025, .975), 74, 28)
[1] 0.6353758 0.8072313

참고 : (a)이 상황에서 일부 베이지안은 정보가없는 이전의 선호합니다(b) 95 %가 아닌 신뢰 수준의 경우, Agresti-Coull CI는 약간 다른 점 추정치를 사용합니다. (c) 이항 이외의 데이터의 경우, 이용 가능한 '플랫'이 없을 수 있지만, 정보가 거의 전달되지 않는 큰 차이 (작은 정밀도)를 갖는 것을 선택할 수 있습니다. (d) Agresti-Coull CI, 적용 범위 확률 그래프 및 일부 참고 자료에 대한 자세한 내용은 이 Q & A를 참조하십시오 . $\mathsf{Beta}(.5, .5).$

— BruceET
소스

10

BruceET의 답변은 훌륭하지만 꽤 길기 때문에 다음과 같은 실용적인 요약이 있습니다.

이전이 평평한 경우, 가능성과 후부는 같은 모양을 갖습니다.
그러나 간격은 서로 다른 방식으로 구성되므로 반드시 같은 것은 아닙니다. 표준 베이지안 90 % CI는 후부의 중앙 90 %를 커버합니다. 잦은 CI는 일반적으로 포인트 단위 비교로 정의됩니다 (BruceET의 답변 참조). 제한이없는 위치 모수 (예 : 정규 분포의 평균 추정)의 경우 차이는 일반적으로 작지만 경계 (0/1)에 가까운 한계 모수 (예 : 이항 평균)를 추정하면 차이가 상당 할 수 있습니다.
물론 해석도 다르지만 질문은 주로 "언제나 같을까요?"

— 플로리안 하티 그
소스

9

잦은 신뢰 구간과 동일한 신뢰할 수있는 구간을 생성하기 위해 사전에 해결할 수 있지만, 적용 범위가 얼마나 좁아 지는지를 알아야합니다. 전체 토론은 표본 크기가 고정되어 있고 임의 변수가 아니라고 가정합니다. 데이터를 한 번만보고 순차 추론이 수행되지 않았다고 가정합니다. 종속 변수가 하나만 있고 다른 매개 변수는 관심이 없다고 가정합니다. 다중성이있는 경우 베이지안과 빈번한 간격이 분기됩니다 (베이지안 후 확률은 순방향 예측 모드에 있으며 "우리가 어떻게 도착했는지"를 고려할 필요가 없으므로 여러 모양을 조정할 필요가 없습니다). 게다가,

— 프랭크 하렐
소스

"정방향 예측 모드"에 있다는 것은 무엇을 의미하며 선택 또는 다중 효과를 고려할 필요가없는 이유는 무엇입니까?

— badmax

1

참조 이 . 게임이 진행됨에 따라 축구 경기의 승자를 예측하는 것을 생각하십시오. 팀 x가 게임에서 이길 수있는 현재 확률은 과거 예측을 완전히 무시할 수 있습니다. 그러나 잦은 모드로 운영하는 경우 팀이 게임을 잃은 모든 시간을 구상하고 예측하는 경향이있는 게임 중 모든 지점에서 극한의 점수를 고려해야합니다. 다중도는 데이터를 극단으로 만들 확률에서 비롯되며 이로 인해 빈번한 계산에만 영향을 미칩니다.

— Frank Harrell

6

가능성 $\neq$ 사전이 평평한 베이지안

우도 함수 및 관련 신뢰 구간 은 균일 분포를 지정하는 사전으로 구성된 베이지안 후 확률과 동일 하지 않습니다 (개념).

이 답변의 1 부와 2 부에서 왜 우위가 평평한 사전을 기반으로 베이지안 후 확률로 보지 말아야하는지에 대한 논란이있다.

3 부에서는 신뢰 구간과 신뢰할 수있는 구간이 광범위하게 변하는 예가 제공됩니다. 또한 이러한 불일치가 어떻게 발생하는지 지적됩니다.

1 변수가 변환 될 때 다른 동작

확률은 특정 방식으로 변형됩니다 . 확률 분포 분포 $f_x(x)$ 를 알면 변환 규칙에 따라 모든 함수 정의 된 변수 대한 $f_\xi(\xi)$ 의 분포도 알 수 있습니다 . $\xi$ $x=\chi(\xi)$

f_{ξ} (ξ) = f_{x} (χ (ξ)) \frac{d χ}{d ξ} d ξ

$f_\xi(\xi) = f_x(\chi(\xi)) \frac{d\chi}{d\xi} d\xi$

변수를 변환하면 분포 함수가 변경되어 평균과 모드가 달라질 수 있습니다. 이는 $\bar{x} \neq \chi(\bar{\xi})$ 및 $x_{\max f(x)} \neq \chi(\xi_{\max f(\xi)})$ 합니다.

우도 함수는 이런 식으로 변형 되지 않습니다 . 이것은 우도 함수와 사후 확률 의 대비 입니다. 변수를 변환 할 때 (최대) 우도 함수 는 동일하게 유지 됩니다.

L_{ξ} (ξ) = L_{x} (χ (ξ))

$\mathcal{L}_\xi(\xi) = \mathcal{L}_x(\chi(\xi))$

2 다른 개념 : 신뢰 구간은 이전 과 독립적

당신이 변수 샘플 가정 (알 수 없음)으로 인구에서를 매개 변수 하는 자체 (인구 매개 변수 ) (을 위해 가능한 다양한 값으로 슈퍼 인구에서 샘플링 ). $X$ $\theta$ $\theta$ $\theta$

변수 대한 일부 값 를 관찰 하여 원래의 가 무엇을 기반으로 했는지 추론하려고 역문을 만들 수 있습니다 . $\theta$ $x_i$ $X$

베이지안 방법은 가능한 의 분포에 대한 사전 분포를 가정하여이를 수행합니다. $\theta$
이는 이전 분포와 무관 한 우도 함수 및 신뢰 구간과 대조됩니다 .

신뢰 구간은 신뢰할 수있는 구간과 마찬가지로 이전 정보를 사용 하지 않습니다 (자신감은 확률이 아님).

$x%$

신뢰할 수있는 간격의 경우이 개념 ( $%$ $x%$

3 신뢰 구간과 신뢰 구간의 차이

$\lambda$ $\bar{x}$ $n$

L (λ, \bar{x}, n) = \frac{n^{n}}{(n - 1)!} x^{n - 1} λ^{n} e^{- λ n \bar{x}}

$\mathcal{L}(\lambda,\bar{x},n) = \frac{n^n}{(n-1)!} x^{n-1} \lambda^n e^{-\lambda n \bar{x}}$

$n$ $\lambda$ $\bar{x}$ $\bar{x}+dx$

^{$\lambda$ $0$ $\infty$ $0$ $1$ $0$ $1$}

$n=4$

경계는 (1 차원) 누적 분포 함수를 얻습니다. 그러나이 통합 / 누적 은 두 가지 방향으로 수행 될 수 있습니다 .

간격의 차이는 5 % 영역이 다른 방식으로 만들어지기 때문에 발생합니다.

$\lambda$ $\bar{x}$ $\lambda$

$\lambda$ $\bar{x}$
$\lambda$ $\bar{x}$

$\bar{x}$ $\lambda$ $\lambda$ $\lambda$

$\bar{x}$ $\lambda$

신뢰 구간과 신뢰할 수있는 구간 (부적절한 이전 기준)이 일치하는 경우 가우시안 분산 변수의 평균을 추정하기위한 것입니다 (분포는 https://stats.stackexchange.com/a/351333/164061 ).

신뢰 구간과 신뢰할 수있는 구간이 일치하지 않는 명백한 사례가 여기에 설명되어 있습니다 ( https://stats.stackexchange.com/a/369909/164061 ). 이 경우의 신뢰 구간은 무한대에서 (상 / 하) 경계 중 하나 또는 둘 다를 가질 수 있습니다.

— Sextus Empiricus
소스

2

신뢰할 수있는 간격에 실제 매개 변수가 포함되어 있는지 여부는 말하지 마십시오. 신뢰할 수있는 구간은 확률 진술입니다. 그리고 신뢰 구간의 x %는 복제의 의미, 즉 '사례'가 무엇인지 언급해야합니다.

— Frank Harrell

B e t a (.5, .5)

$\mathsf{Beta}(.5, .5)$

나는 그것이 평평한 경우에 그 가능성이 뒤처 질 가능성이 있다고 생각하지 않는다. OP의 전문 지식 수준에 대한 답변을 작성함에 따라 답변의 첫 번째 단락을 신중하게 작성하려고했습니다. 내가 말한 것이 실제로 잘못되었다고 생각하십니까, 아니면 잘못 해석 될 수 있다고 말하고 있습니까?

— BruceET

1

이것은 일반적으로 사실이 아니지만 가장 자주 고려되는 특수한 경우로 보일 수 있습니다.

$X,Y\sim\operatorname{i.i.d}\sim\operatorname{Uniform}[\theta-1/2,\, \theta+1/2].$ $\big(\min\{X,Y\},\max\{X,Y\}\big)$ $50\%$ $\theta,$ $50\%$

보조 통계에 대한 Fisher의 조정 기술은이 경우 신뢰할 수있는 구간과 일치하는 신뢰 구간을 생성합니다.

— 마이클 하디
소스

0

내 독서에서, 나는이 진술이 무증상으로, 즉 큰 표본 크기에 대해, 그리고 정보가없는 이전의 것을 사용한다면 사실이라고 생각했습니다.

간단한 수치 적 예는 이것을 확인하는 것처럼 보일 것입니다. ML 이항 GLM과 베이지안 이항 GLM의 90 % 프로파일 최대 우도 간격과 90 % 신뢰할 수있는 간격은 실제로 거의 동일 n=1000하지만 불일치가 작을수록 n:

# simulate some data
set.seed(123)
n = 1000                     # sample size
x1 = rnorm(n)                # two continuous covariates 
x2 = rnorm(n)
z = 0.1 + 2*x1 + 3*x2        # predicted values on logit scale
y = rbinom(n,1,plogis(z))    # bernoulli response variable
d = data.frame(y=y, x1=x1, x2=x2)

# fit a regular GLM and calculate 90% confidence intervals
glmfit = glm(y ~ x1 + x2, family = "binomial", data = d)
library(MASS)
# coefficients and 90% profile confidence intervals :
round(cbind(coef(glmfit), confint(glmfit, level=0.9)), 2) 
#                      5 % 95 %
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.77 2.34
# x2            3.42  3.05 3.81

# fit a Bayesian GLM using rstanarm
library(rstanarm)
t_prior = student_t(df = 3, location = 0, scale = 100) # we set scale to large value to specify an uninformative prior
bfit1 = stan_glm(y ~ x1 + x2, data = d, 
                 family = binomial(link = "logit"), 
                 prior = t_prior, prior_intercept = t_prior,  
                 chains = 1, cores = 4, seed = 123, iter = 10000)
# coefficients and 90% credible intervals :
round(cbind(coef(bfit1), posterior_interval(bfit1, prob = 0.9)), 2) 
#                        5%  95%
#   (Intercept) -0.01 -0.18 0.17
# x1             2.06  1.79 2.37
# x2             3.45  3.07 3.85


# fit a Bayesian GLM using brms
library(brms)
priors = c(
  prior(student_t(3, 0, 100), class = "Intercept"),
  prior(student_t(3, 0, 100), class = "b")
)
bfit2 = brm(
  y ~ x1 + x2,
  data = d,
  prior = priors,
  family = "bernoulli",
  seed = 123 
) 
# coefficients and 90% credible intervals :
summary(bfit2, prob=0.9)
# Population-Level Effects: 
#           Estimate Est.Error l-90% CI u-90% CI Eff.Sample Rhat
# Intercept    -0.01      0.11    -0.18     0.18       2595 1.00
# x1            2.06      0.17     1.79     2.35       2492 1.00
# x2            3.45      0.23     3.07     3.83       2594 1.00


# fit a Bayesian GLM using arm
library(arm)
# we set prior.scale to Inf to specify an uninformative prior
bfit3 = bayesglm(y ~ x1 + x2, family = "binomial", data = d, prior.scale = Inf) 
sims = coef(sim(bfit3, n.sims=1000000))
# coefficients and 90% credible intervals :
round(cbind(coef(bfit3), t(apply(sims, 2, function (col) quantile(col,c(.05, .95))))),2)
#                       5%  95%
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.76 2.33
# x2            3.42  3.03 3.80

보시다시피, 위의 예 n=1000에서 이항 GLM의 90 % 프로파일 신뢰 구간은 베이지안 이항 GLM의 90 % 신뢰할 수있는 구간과 사실상 동일합니다 (차이는 다른 시드를 사용하는 범위 내에서 다름) 베이지안 피팅에서 nrs의 반복 횟수 및 100 % 정보없는 사전을 지정하는 것도 rstanarm또는로 수행 할 수 없으므로 정확한 동등성을 얻을 수 없습니다 brms.

— 톰 Wenseleers
소스

신뢰할 수있는 구간의 간격이 평평한 경우 95 % 신뢰 구간이 95 %의 신뢰할 수있는 구간과 같습니까?

가능성 ≠≠\neq 사전이 평평한 베이지안

1 변수가 변환 될 때 다른 동작

2 다른 개념 : 신뢰 구간은 이전 과 독립적

3 신뢰 구간과 신뢰 구간의 차이

가능성 $\neq$ 사전이 평평한 베이지안