신뢰 구간과 신뢰할 수있는 구간의 차이점은 무엇입니까?

요리스 및 Srikant의 교환은 여기 신뢰 구간과 신뢰할 수있는 간격 사이의 차이에 대한 내 내부 설명이 올바른 것 인 경우에 (다시) 생각해 저를 얻었다. 차이점을 어떻게 설명하겠습니까?

나는 Srikant의 설명에 전적으로 동의합니다. 더 휴리스틱 스핀을 주려면 :

고전적인 접근법은 일반적으로 세계가 일방 통행 (예를 들어, 매개 변수가 하나의 특정 참값을 가짐)이고, 그 결과의 결론이 매개 변수의 참값에 관계없이 최소한 어느 정도는 정확한 실험을 수행하려고 시도합니다 개연성.

결과적으로, 실험 후 우리의 지식에 불확실성을 표현하기 위해, 잦은 접근은 "확실성 간격"을 사용하는데, 이는 95 %와 같은 최소 확률로 모수의 실제 값을 포함하도록 설계된 값 범위입니다. 잦은 주의자는 실험과 95 % 신뢰 구간 절차를 설계하여 100 개의 실험마다 실행이 시작되고 결과 신뢰 구간 중 95 개 이상이 모수의 실제 값을 포함 할 것으로 예상됩니다. 다른 5 개는 약간 잘못되었거나 완전히 말도 안될 수 있습니다. 공식적으로 말하면 100 가지 추론 중 95 개가 올바른 한 접근 방식에 관한 한 괜찮습니다. (물론 우리는 그것들이 총체가 아닌 약간 잘못된 것을 선호합니다.)

베이지안 접근 방식은 문제를 다르게 구성합니다. Bayesian 방법은 모수의 매개 변수 값이 고정되어 있지만 사전 확률 분포라고하는 확률 분포에서 선택되었다고 말합니다. (즉, 베이지안은 측정을 수행하기 전에 매개 변수의 실제 값이 무엇인지에 대한 확률 분포 (신뢰 상태라고 함)를 할당합니다.) 우리가 DMV에서 트럭 크기의 전체 분포를 알고 있다면 트럭의 크기를 추정하기 위해 또는 얇은 공기에서 나온 가정 일 수 있습니다. 베이지안 추론이 더 간단합니다. 일부 데이터를 수집 한 다음 데이터 GIVEN의 다른 값에 대한 확률을 계산합니다. 이 새로운 확률 분포를 "후부 확률"또는 간단히 "후방"이라고합니다. 베이지안 접근법은 확률의 95 %를 포함하는 사후 확률 분포에 대한 값의 범위를 제공함으로써 불확실성을 요약 할 수 있습니다.이를 "95 % 신뢰 구간"이라고합니다.

베이지안 당파는 다음과 같이 잦은 신뢰 구간을 비판 할 수 있습니다. 나는 했어요. 당신의 규칙은 100 개 중 5 개가 다른 95 개가 정확하다면 완전하지 않은 [음수 값, 불가능한 값]이되도록 허용합니다.

빈번한 다이 하드는 베이지안 신뢰 구간을 다음과 같이 비판 할 수 있습니다. "사후 확률의 95 %가이 범위에 포함된다면 어떻게 될까요? 만약 참값이 0.37이라면 어떻게됩니까? 귀하의 답변은 '아, 글쎄, 그것은 이전에 따르면 그 값이 0.37 인 것은 매우 드물기 때문에 괜찮다'고 생각하지만, 그 방법을 원한다. 가능한 모든 값의 매개 변수에 대해 작동합니다 .IT가 가지고 있지 않은 매개 변수의 99 값에 대해서는 신경 쓰지 않습니다 .IT가 가지고있는 진정한 값 하나에 관심이 있습니다. 또한, 귀하의 답변은 정확합니다. 이전의 말이 맞다면, 기분이 좋기 때문에 얇은 공기에서 빼 내면 나갈 수 있습니다. "

어떤 의미에서이 두 당사자는 서로의 방법에 대한 비판에서 정확하지만 Srikant가 설명하는 것처럼 그 차이에 대해 수학적으로 생각하라고 권합니다.

다음은이 이야기의 확장 된 예입니다.

제가 어렸을 때 어머니는 초콜릿 칩 쿠키 항아리를 우편으로 보내달라고 가끔 놀라게하셨습니다. 배달 회사는 A 형, B 형, C 형, D 형 등 4 가지 종류의 쿠키 용기를 비축했으며 모두 같은 트럭에 있었으며 어떤 유형을 얻을지 확신 할 수 없었습니다. 각 병에는 정확히 100 개의 쿠키가 있었지만 다른 쿠키 병을 구별하는 기능은 쿠키 당 초콜릿 칩의 개별 분포였습니다. 항아리에 닿아 무작위로 단일 쿠키를 균일하게 꺼내면 칩 수에서 얻을 수있는 확률 분포입니다.

예를 들어, A 형 쿠키 용기에는 각각 2 개의 칩으로 구성된 70 개의 쿠키가 있고 4 개 이상의 칩으로 구성된 쿠키는 없습니다! D 형 쿠키 용기에는 칩 하나당 70 개의 쿠키가 있습니다. jar가 A, B, C 또는 D이고 각 열의 합이 100 인 경우 각 수직 열이 확률 질량 함수 인 칩 수의 조건부 확률에 주목하십시오.

배달원이 새 쿠키 병을 떨어 뜨리 자마자 게임을 좋아했습니다. 항아리에서 하나의 쿠키를 무작위로 가져 와서 쿠키의 칩을 세고 70 % 수준에서 내 항아리의 불확실성을 표현하려고했습니다. 따라서 측정되는 매개 변수 의 값인 jar (A, B, C 또는 D)의 신원입니다 . 칩 수 (0, 1, 2, 3 또는 4)는 결과 또는 관찰 또는 샘플입니다.

원래 나는이 게임을 빈번하고 70 % 신뢰 구간을 사용하여 플레이했습니다. 이러한 간격을 만들 필요가 있는지 에 상관없이 상관없이 내가 가지고있는 쿠키 항아리 의미가없는 매개 변수의 진정한 가치는, 간격이 적어도 70 %의 확률로 그 진정한 가치를 포함한다.

물론 간격은 결과 (행)를 매개 변수 값 세트 (열 세트)와 관련시키는 함수입니다. 그러나 신뢰 구간 을 구성 하고 70 % 적용 범위를 보장하려면 각 열을 차례로보고 확률 질량 함수의 70 %가 시간의 70 %가되도록 보장해야합니다. 열의 ID는 결과 간격의 일부입니다. pmf를 형성하는 세로 열입니다.

그래서 그 절차를 마친 후에 나는 다음과 같은 간격으로 끝났습니다.

예를 들어, 내가 그리는 쿠키의 칩 수가 1 인 경우 신뢰 구간은 {B, C, D}입니다. 숫자가 4이면 신뢰 구간은 {B, C}입니다. 각 열의 합이 70 % 이상이므로 실제로 어떤 열에 있는지 (배달원이 어떤 병을 떨어 뜨 렸든 상관없이)이 절차의 결과 간격에 70 % 이상의 확률로 올바른 병이 포함됩니다.

또한 간격을 구성 할 때 따라온 절차에 따라 재량이 적용되었습니다. B 형 열에서 B를 포함하는 구간이 1,2,3,4 대신 0,1,2,3이되도록 쉽게 확인할 수있었습니다. 이로 인해 B 형 병 (12 + 19 + 24 + 20)에 대한 적용 범위가 75 %로 나타 났으며 여전히 70 %의 하한을 충족했습니다.

언니 Bayesia는이 접근 방식이 미쳤다고 생각했습니다. "배달원을 시스템의 일부로 고려해야한다"고 그녀는 말했다. "병의 신원을 임의의 변수 자체로 취급하고 , 배달원이 그 중에서 균일하게 선택 한다고 가정 해 봅시다. 즉, 트럭에 4 개가 모두 있고, 우리 집에 도착할 때마다 균일 한 확률. "

"이 가정을 통해 이제 전체 이벤트의 공동 확률, 즉 항아리 유형 및 첫 번째 쿠키에서 추출한 칩 수를 살펴 보겠습니다."라고 그녀는 다음 표를 그렸습니다.

전체 테이블은 이제 확률 질량 함수입니다. 이는 전체 테이블의 합계가 100 %임을 의미합니다.

"좋아, 나는 어디로 향하고 있니?"

Bayesia는“병을 감안할 때 칩 수의 조건부 확률을 살펴 보았습니다. "모두 잘못되었습니다. 당신이 정말로 염려하는 것은 쿠키의 칩 수를 고려할 때 어떤 항아리의 조건부 확률입니다! 70 % 간격에는 단순히 70 %의 확률을 가진 목록 항아리가 포함되어야합니다. "단순한 항아리입니다. 훨씬 간단하고 직관적이지 않습니까?"

"물론, 어떻게 계산합니까?" 나는 물었다.

"이제 우리가 가정 해 봅시다 알고 당신이 3 개 칩을 가지고있다. 그리고 우리는 테이블의 모든 다른 행을 무시 할 수 있으며, 단순히 확률 질량 함수로 해당 행을 처리합니다. 우리는 비례 (100)에 각각의 행 합계를 확률을 확장해야합니다 , 그러나." 그녀는 한:

"각 행이 현재 pmf 인 방법에 주목하고 100 %로 합산합니다. 우리는 시작한 것에서 조건부 확률을 뒤집 었습니다. 이제는 칩 수에 따라 사람이 특정 병을 떨어 뜨릴 확률입니다. 첫 번째 쿠키 "

"재미있다"고 말했다. "그래서 우리는 각 줄에 충분한 항아리를 겨냥하여 최대 70 % 확률을 얻습니까?" 우리는 다음과 같이 신뢰 구간을 만들었습니다.

각 구간에는 실제 항아리가 될 확률이 70 %에 달하는 사후 세트가 포함됩니다 .

"잠깐만 요."라고 말했다. "나는 확신하지 못한다. 두 종류의 간격을 나란히 놓고 적용 범위를 비교하고 배달원이 각 종류의 병을 동일한 확률, 신뢰성으로 선택한다고 가정하자."

여기 있습니다:

신뢰 구간:

신뢰성 간격 :

"신뢰 구간이 얼마나 미쳤는지보세요?" Bayesia가 말했다. "제로 칩으로 쿠키를 그릴 때 합리적인 답을 얻지 못합니다! 그냥 빈 간격이라고 말하지만 분명히 잘못되었습니다. 네 가지 유형의 항아리 중 하나 여야합니다. 어떻게 살 수 있습니까? 간격이 잘못되었다는 것을 알고 있는 마지막 날에 간격을 말하고, 3 개의 칩으로 쿠키를 뽑을 때 간격이 41 %에 불과합니다. 간격은 헛소리입니다. "

"음, 이봐"나는 대답했다. "배달원이 어떤 병을 떨어 뜨 렸는지에 상관없이 시간의 70 %가 정확합니다. 이는 신뢰 구간에 대해 말할 수있는 것보다 훨씬 더 많습니다. 병이 B 형인 경우 어떻게됩니까? 80 %의 시간 간격은 틀릴 것입니다. "시간의 20 % 만 수정하십시오!"

"이것은 큰 문제인 것 같습니다."실수는 항아리의 종류와 관련이 있기 때문입니다. 만약 당신이 가지고있는 항아리의 종류를 평가하기 위해 100 개의 '베이지안 (Bayesian)'로봇을 보내면 각각의 로봇은 쿠키 하나를 샘플링합니다. B 타입의 날에는 80 개의 로봇이 틀린 결론에 대해 73 % 이상의 믿음을 가지고 있다고 답할 것이라고 기대합니다. 특히 대부분의 로봇이 정답."

또한 "우리는 배달원이 균일하게 행동하고 각 유형의 병을 무작위로 선택한다는 가정을해야만했다"고 말했다. "어디에서 왔는가? 만약 그것이 틀렸다면? 당신은 그에게 말하지 않았고, 당신은 그를 인터뷰하지 않았습니다. 그러나 후일 확률 에 대한 당신의 모든 진술은 그의 행동에 대한이 진술에 근거합니다. 그런 가정들과 나의 간격은 최악의 경우에도 그 기준을 충족시킨다. "

Bayesia는“B 형 병에서 신뢰성 구간이 제대로 작동하지 않는다는 것이 사실이다. "그러나 어떻게? B 형 병은 25 % 만 발생합니다. A, C, D 병에 대한 좋은 적용 범위에 의해 균형을 이룹니다. 그리고 난센스를 게시하지 않습니다."

"칩이없는 쿠키를 그릴 때 신뢰 구간이 제대로 작동하지 않는다는 것이 사실입니다." "그러나 무엇? 칩리스 쿠키는 최악의 경우에 최대 27 %의 시간이 발생합니다 (D 형 항아리). 어떤 항아리도 30 개 이상의 잘못된 답변을 초래할 것이기 때문에이 결과에 대해 넌센스를 줄 수 있습니다. % 시간의."

"열은 중요하다"고 말했다.

Bayesia는 "행이 중요하다"고 말했다.

"나는 우리가 곤경에 처한 것을 볼 수있다"고 말했다. "우리는 우리가 만들고있는 수학적 진술에서 모두 정확하지만, 불확실성을 정량화하는 적절한 방법에 대해서는 동의하지 않습니다."

내 동생이 말했다. "쿠키를 원하십니까?"

나의 이해는 다음과 같습니다.

배경

데이터 있고 를 추정하려고 한다고 가정하십시오 . 에서 가 조건부로 생성되는 방법을 설명하는 데이터 생성 프로세스가 있습니다. 다시 말해 의 분포를 알 수 있습니다 (예 : .$x$$\theta$$x$$\theta$$x$$f(x|\theta)$

추론 문제

귀하의 추론 문제는 : 어떤 값 합리적인 관찰 된 데이터 주어 ?$\theta$$x$

신뢰 구간

신뢰 구간은 위의 문제에 대한 고전적인 답변입니다. 이 방법에서는 고정 고정 값 가 있다고 가정합니다 . 이 가정을 가정하면 데이터 를 사용하여 의 추정치 (예 : ) 를 얻습니다 . 추정값을 얻은 후에는 실제 값이 추정값과 관련된 위치를 평가하려고합니다.$\theta$$x$$\theta$$\hat{\theta}$

이 방법에서 실제 값은 임의 변수 가 아닙니다 . 고정되어 있지만 알려지지 않은 수량입니다. 대조적으로, 추정값 은 데이터 생성 프로세스에서 생성 된 데이터 에 따라 달라지는 임의 변수 입니다. 따라서 연구를 반복 할 때마다 다른 추정값을 얻게됩니다.$x$

위의 이해는 다음과 같은 방법론으로 이어지며 실제 모수가 추정치와 관련된 위치를 평가합니다. 다음 속성을 사용 하여 구간 를 정의하십시오.$I \equiv [lb(x), ub(x)]$

$P(\theta \in I) = 0.95$

위와 같이 구성된 구간을 신뢰 구간이라고합니다. 실제 값은 알 수 없지만 고정되어 있기 때문에 실제 값은 구간 또는 구간 외부에 있습니다. 그런 다음 신뢰 구간은 실제로 얻은 구간에 실제로 매개 변수 값이있을 가능성에 대한 설명입니다. 따라서, 확률 진술은 실제 파라미터 값의 위치에 관한 것이 아니라 구간 (즉, 그 구간이 실제 값을 가질 지의 여부)에 관한 것이다.

이 패러다임에서는 실제 값이 임의 변수 가 아니기 때문에 실제 값이 일부 값보다 작거나 클 확률에 대해 말하는 것은 의미가 없습니다 .

신뢰할 수있는 간격

고전적 접근 방식과 달리 베이지안 접근 방식에서는 실제 값이 임의 변수라고 가정합니다. 따라서 우리는 참 모수 벡터에 대한 사전 분포를 부여함으로써 참 모수 값에 대한 불확실성을 포착합니다 (예 : ).$f(\theta)$

베이 즈 정리를 사용하여 이전과 우리가 보유한 데이터를 혼합하여 모수 벡터에 대한 사후 분포를 구성합니다 (후자는 ).$f(\theta|-) \propto f(\theta) f(x|\theta)$

그런 다음 사후 분포를 사용하여 점 추정치에 도달합니다 (예 : 사후 분포의 평균 사용). 그러나이 패러다임에서 실제 모수 벡터는 랜덤 변수이므로 점 추정치에 대한 불확실성의 정도도 알고 싶습니다. 따라서 우리는 다음과 같은 간격을 구성합니다.

$P(l(\theta) \le {\theta} \le ub(\theta)) = 0.95$

위의 믿을만한 간격입니다.

요약

신뢰할 수있는 구간은 모수 값의 위치에서 현재 불확실성을 포착하므로 모수에 대한 확률 설명으로 해석 될 수 있습니다.

반대로 신뢰 구간은 획득 한 구간 (즉, 실제 값을 포함하는지 여부)에 대한 불확실성을 캡처합니다. 따라서 실제 매개 변수 값에 대한 확률 적 설명으로 해석 될 수 없습니다.

나는 하나의 기본 요점에 대한 Srikant의 답변에 동의하지 않습니다. Srikant는 다음과 같이 말했습니다.

"추론 문제 : 추론 문제는 다음과 같습니다. 관측 된 데이터 x가 주어지면 어떤 θ 값이 합리적입니까?"

실제로 이것은 BAYESIAN 추론 문제입니다. 베이지안 통계에서 우리는 P (θ | x), 즉 관측 된 데이터 (샘플)가 주어진 파라미터 값의 확률을 계산하려고합니다. CREDIBLE INTERVAL은 문제의 근간이되는 몇 가지 가정에서 θ의 참값을 포함 할 확률이 95 % (또는 기타) 인 θ 간격입니다.

주파수 추론 문제는 다음과 같습니다.

θ의 가정 된 값이 주어지면 관측 된 데이터 x가 합리적입니까?

잦은 통계에서 우리는 P (x | θ), 즉 가정 된 모수 값이 주어진 데이터 (샘플)를 관찰 할 확률을 계산하려고합니다. 신뢰 구간 (아마도 잘못된 이름)은 다음과 같이 해석됩니다. 랜덤 샘플 x를 생성 한 실험이 여러 번 반복되는 경우 해당 랜덤 샘플로 구성된 이러한 간격의 95 % (또는 기타)는 매개 변수의 실제 값을 포함합니다.

머리가 엉망 이세요? 그것은 빈번한 통계의 문제이며 베이지안 통계가했던 주요 문제입니다.

Sikrant가 지적했듯이 P (θ | x) 및 P (x | θ)는 다음과 같이 관련됩니다.

P (θ | x) = P (θ) P (x | θ)

여기서 P (θ)는 우리의 이전 확률입니다. P (x | θ)는 이전의 조건에 따른 데이터의 확률이고 P (θ | x)는 사후 확률입니다. 이전의 P (θ)는 본질적으로 주관적이지만, 그것은 매우 심오한 의미에서 우주에 대한 지식의 가격입니다.

Sikrant와 Keith의 대답의 다른 부분은 훌륭합니다.

이전에 제공된 답변은 매우 유용하고 상세합니다. 여기 내 $ 0.25가 있습니다.

신뢰 구간 (CI)은 확률이 비례와 같고 Kolmogrov (및 기타)의 공리 시스템을 기반으로하는 고전적인 확률 정의 ( "Frequentist definition"이라고도 함)를 기반으로하는 개념입니다.

신뢰할 수있는 간격 (가장 높은 밀도, HPD)은 Wald와 de Finetti의 작품을 기반으로 의사 결정 이론에 뿌리를 둔 것으로 간주 될 수 있습니다 (다른 사람들이 많이 확장).

이 스레드의 사람들이 베이지안과 빈번한 사례에서 가설의 차이와 예를 제시하는 데 큰 역할을 했으므로 몇 가지 중요한 점에 대해서만 강조하겠습니다.

1. CI는 HPD가 관측 된 데이터를 전적으로 기반으로하는 관측 된 데이터뿐만 아니라 (우리의 이전 가정을 준수한) 관측 된 데이터뿐만 아니라 관찰 될 수있는 모든 실험의 반복에 대해 추론이 이루어져야한다는 사실에 근거합니다.

2. 일반적으로 CI는 결정론의 근원으로 인해 HPD가 일관된 것처럼 일관되지 않습니다 (나중에 설명 할 것임). 일관성 (내 할머니에게 설명 할 것임)은 매개 변수 값에 베팅 문제가 있음을 고려할 때 고전 통계 학자 (자주 주의자)가 CI에 베팅하고 HPD에 대한 베이지안 베팅을하는 경우 빈번한 IS BOUND가 손실됩니다 (사소한 경우 제외) HPD = CI 인 경우). 즉, 실험 결과를 데이터를 기반으로 한 확률로 요약하려는 경우 확률은 사후 확률이 될 것입니다 (사전 기준). (거의) 다음과 같은 정리 (참고 : Heath and Sudderth, Annals of Statistics, 1978)가 있습니다 : 데이터를 기반으로 에 확률을 할당 하는 것이 베이지안 방식으로 얻은 경우에만 확실한 패배자가되지는 않습니다.$\theta$

3. CI는 관측 된 데이터 ( "조건 원리"CP라고도 함)를 조건으로하지 않기 때문에 역설적 인 예가있을 수 있습니다. Fisher는 CP의 큰 지지자였으며이를 따르지 않을 때 (CI의 경우와 같이) 역설적 인 예를 많이 발견했습니다. 이것이 CI와 달리 p- 값을 추론에 사용한 이유입니다. 그의 견해에서 p- 값은 관측 된 데이터를 기반으로했다 (p- 값에 대해서는 말할 수 있지만 여기서는 초점이 아니다). 가장 유명한 역설적 사례 중 두 가지는 다음과 같습니다. (4와 5)

4. 콕스 예 (수학 통계 실록 1958..) 에 대해 (IID) 우리가 원하는 추정 합니다. 은 고정되어 있지 않으며 동전을 던져서 선택됩니다. 동전 던지기 결과 H가 2이면, 그렇지 않으면 1000이 선택됩니다. "상식"추정치-표본 평균은 편차가 편차가없는 추정치입니다 . 때 표본 평균의 분산으로 무엇을 사용 합니까? 표본 평균 추정기의 분산을 추정기 의 실제 분산 대신 (조건부 분산 )로 사용하는 것이 더 좋지 않습니까? ($X_i \sim \mathcal{N}(\mu, \sigma^2)$$i\in\{1,\dots,n\}$$\mu$$n$$0.5\sigma^2+0.0005\sigma^2$$n = 1000$$0.001\sigma^2$$0.5\sigma^2+0.0005\sigma^2$). 이것은 때 분산을 로 사용할 때 CP의 간단한 그림입니다 . 독립형은 및 대해 중요하지 않거나 정보가 없지만 (즉, 은 그것들에 대해 부수적이지만) 그 가치가 주어지면 "데이터 품질"에 대해 많은 것을 알고 있습니다. 그들에 컨디셔닝되지 않아야 분산 포함 이것은 직접 CI에 관한 , 즉, 우리는 더 큰 분산을 사용하게한다 따라서 보수적 위에.$0.001\sigma^2$$n=1000$$n$$\mu$$\sigma$$n$$n$

5. Welch의 예 :이 예는 모든 대해 작동 하지만 단순화를 위해 를 사용합니다. (iid), 는 실수 줄에 속합니다. 이는 (iid)를 의미합니다. (통계가 아님)는 독립적 인 분포를 갖습니다 . 우리는 선택할 수 있습니다 일 의미, 는 의 99 % CI입니다.$n$$n=2$$X_1, X_2 \sim \mathcal{U}(\theta - 1/2, \theta +1/2)$$\theta$$X_1 - \theta \sim \mathcal{U}(-1/2, 1/2)$$\frac{1}{2}(X_1 + X_2) {\bar x} - \theta$$\theta$$c > 0$$\text{Prob}_\theta(-c <= {\bar x} - \theta <= c) = 1-\alpha (\approx 99\%)$$({\bar x} - c, {\bar x} + c)$$\theta$. 이 CI의 해석은 다음과 같습니다. 반복적으로 샘플링 하면 GIVEN 데이터에 대해 실제 , BUT (실내의 코끼리)를 포함하는 다른 및 99 % (최소한) 배가됩니다. CI에 true 가 포함될 확률을 모릅니다 . 이제 다음 데이터를 고려하십시오. 및 , 이므로 간격 에 (하나의 비판,${\bar x}$$\theta$$\theta$$X_1 = 0$$X_2=1$$|X_1 - X_2|=1$$(X_1, X_2)$$\theta$$\text{Prob}(|X_1 - X_2|=1) = 0$그러나 수학적으로 처리 할 수 ​​있으며 논의하지는 않습니다.) 이 예제는 또한 일관성 개념을 아름답게 보여줍니다. 고전 통계학 의 값을 보지 않고 99 % CI에 베팅 할 것입니다. (당신이 당신의 직업에 충실하다고 가정). 그러나 베이지안은 의 값인 경우에만 CI에 베팅합니다. 우리가간격이 일관되고 플레이어는 더 이상 확실한 패배자가되지 않습니다 (히스와 서 더스의 정리와 유사).$|X_1 - X_2|$$|X_1 - X_2|$$|X_1 - X_2|$

6. Fisher는 이러한 문제에 대한 권장 사항을 가지고있었습니다. CP를 사용하십시오. Welch의 예에서 Fisher는 조건을 제안했습니다 . 보시다시피, 은 대한 보조 기능 이지만 에 대한 정보를 제공합니다. 경우 작고, 대한 많은 정보가없는 데이터에가. 경우 큰, 대한 많은 정보가 데이터에가. Fisher는 보조 통계에 대한 조건화 전략을 Fiducial Inference 라고하는 일반적인 이론으로 확장했습니다.$X_2-X_1$$X_2-X_1$$\theta$$X_2-X_1$$\theta$$X_2-X_1$$\theta$(또한 그의 가장 큰 실패라고도한다 (cf Zabell, Stat. Sci. 1992)). 그러나 일반 성과 유연성의 부족으로 인해 인기를 얻지 못했다. Fisher는 고전 통계 (Neyman School) 및 베이지안 학교와는 다른 방법을 찾으려고 노력했습니다 (따라서 Savage의 유명한 속담 : "Fisher는 베이지안 알을 깨지 않고 베이지안 오믈렛 (예 : CP) 사용)을 원했습니다) . Fofolklore (증거 없음) : Fisher의 논쟁에서 Fisher는 Neyman의 방법이 관찰 된 데이터를 조건으로하지 않았기 때문에 과학자 대신 품질 관리 사람 이라고 부름으로써 Neyman을 공격했습니다 (Type I 및 Type II 오류 및 CI). 가능한 모든 반복.

7. 통계 학자들은 CP 외에 SSP (Sufficiency Principle)를 사용하기를 원합니다. 그러나 SP와 CP는 LP (Lowlihood Principle) (참조 : Birnbaum, JASA, 1962)를 의미한다. 즉 CP와 SP가 주어지면 표본 공간을 무시하고 우도 함수 만 살펴 봐야한다. 따라서 전체 샘플 공간이 아닌 주어진 데이터 만 볼 필요가 있습니다 (전체 샘플 공간을 보는 것은 반복 샘플링과 유사한 방식입니다). 이로 인해 잦은 관점에서 데이터에 대한 정보를 측정하는 관찰 된 피셔 정보 (참조 : Efron and Hinkley, AS, 1978)와 같은 개념이 생겼습니다. 데이터의 정보량은 CI 대신 베이지안 개념 (따라서 HPD 관련)입니다.

8. 키퍼는 1970 년대 후반에 CI에 대한 기초 작업을 수행했지만 그의 확장은 인기를 얻지 못했습니다. 좋은 참고 자료는 Berger이다 ( "Fisher, Neyman 및 Jeffreys는 가설 검정에 동의 할 수있다", Stat Sci, 2003).

요약:

(Srikant와 다른 사람들이 지적한 바와 같이)
CI는 확률로 해석 할 수 없으며 관측되지 않은 매개 변수 GIVEN에 대해 관찰 된 데이터에 대해 아무 것도 알려주지 않습니다. CI는 반복 실험에 대한 진술입니다.

HPD는 알려지지 않은 모수의 사후 분포를 기반으로하는 확률 간격이며 주어진 데이터를 기반으로 확률 기반 해석을 갖습니다.

빈번한 속성 (반복 샘플링) 속성은 바람직한 속성이며 HPD (적절한 사전 요구 사항)와 CI에는 둘 다 있습니다. 알 수없는 매개 변수에 대한 질문에 대답 할 때 주어진 데이터의 HPD 조건

(객관적인 NOT 주관적) 베이지안은 매개 변수의 단일 TRUE 값이 있다는 고전 통계 학자와 동의합니다. 그러나 둘 다이 실제 매개 변수에 대해 추론하는 방식이 다릅니다.

베이지안 HPD는 우리에게 데이터에 대한 좋은 컨디셔닝 방법을 제공하지만 CI의 빈번한 속성에 동의하지 않으면 유용하지 않습니다 (분석 : 좋은 빈번한 속성없이 HPD를 사용하는 사람은 제한적입니다) 망치 만 신경 쓰고 스크류 드라이버를 잊어 버린 목수처럼 파멸 될 것)

마지막으로, 나는이 스레드의 사람들을 보았습니다 (Joris 박사의 의견 : "... 관련 가정은 이전의 확산, 즉 실제 매개 변수에 대한 완전한 지식의 부족을 의미합니다."). 확산 사전을 사용하는 것과 같습니다. 진술에 동의 할 수 있는지 모르겠습니다 (키이스 박사님이 동의합니다). 예를 들어, 기본 선형 모형의 경우 일부 분포는 균일 한 사전 (일부 확산이라고도 함)을 사용하여 얻을 수 있지만 균일 분포가 낮은 정보 우선 순위로 간주 될 수 있음을 의미하지는 않습니다. 일반적으로 NON-INFORMATIVE (Objective)가 매개 변수에 대한 정보가 부족하다는 의미는 아닙니다.



노트 :이 요점 중 많은 부분이 저명한 베이지안 중 한 사람의 강의를 기반으로합니다. 나는 여전히 학생이며 어떤 식 으로든 그를 오해했을 수 있습니다. 미리 사과드립니다.

약간의 철학에 참여하는 것은 항상 재미 있습니다. 나는 Keith의 답변을 매우 좋아하지만, 그가 "미스터 잊어 버린 Bayesia"의 입장을 취하고 있다고 말할 것입니다. 유형 B와 유형 C의 나쁜 적용 범위는 모든 시도에서 동일한 확률 분포를 적용하고 사전 업데이트를 거부하는 경우에만 발생할 수 있습니다.

타입 A와 타입 D jar은 "정확한 예측"으로 말해서 (각각 0-1과 2-3 칩에 대해), B와 C jar은 기본적으로 칩의 균일 한 분포를 제공하기 때문에이를 매우 명확하게 볼 수 있습니다. 따라서 고정 된 "진짜 항아리"(또는 다른 비스킷을 샘플링 한 경우)로 실험을 반복하면 칩의 균일 한 분포가 B 또는 C 항아리에 대한 증거를 제공합니다.

그리고 "실제적인"관점에서, 타입 B와 C는 그것들을 구별 할 수있는 거대한 샘플을 요구할 것입니다. 두 분포 사이의 KL 분기는 입니다. 이것은 분산 과 의 차이가있는 두 정규 분포에 해당하는 발산 입니다. 따라서 하나의 표본을 기준으로 식별 할 수 없을 것으로 예상됩니다 (일반적인 경우 5 % 유의 수준에서이 차이를 탐지하려면 약 320 개의 표본 크기가 필요함). 따라서 우리는 충분히 큰 표본이 ​​될 때까지 유형 B와 유형 C를 합리적으로 붕괴시킬 수 있습니다.$KL(B||C) \approx 0.006 \approx KL(C||B)$$1$$\sqrt{2\times 0.006}=0.11$

이제 그 믿을만한 간격은 어떻게 되나요? 실제로 "B 또는 C"의 100 % 적용 범위를 갖습니다! 잦은 간격은 어떻습니까? 커버리지는 모든 간격이 B와 C를 모두 포함하거나 둘 다 포함하지 않기 때문에 변경되지 않으므로 Keith의 응답에서 관찰 된 3과 0 칩에 대해 59 %와 0 %의 비판을받습니다.

그러나 여기서는 실용적입니다. 한 함수와 관련하여 무언가를 최적화하면 다른 함수에서는 제대로 작동하지 않을 수 있습니다. 그러나 잦은 간격과 베이지안 간격은 평균적으로 원하는 신뢰성 / 신뢰 수준을 달성합니다. 우리는 . 그래서 잦은 는 적절한 평균 신뢰성을 가지고 있습니다. 우리는 또한 -베이지안은 적절한 평균 범위를 가지고 있습니다.$(0+99+99+59+99)/5=71.2$$(98+60+66+97)/4=80.3$

내가 강조하고 싶은 또 다른 요점은 베이지안이 확률 분포를 할당하여 "모수가 임의적"이라고 말하지 않는다는 것입니다. 베이지안의 경우 (적어도 어쨌든) 확률 분포는 해당 모수에 대해 알려진 내용에 대한 설명입니다. "무작위"라는 개념은 베이지안 이론에는 실제로 존재하지 않으며 "알고"와 "알지 ​​못한다"라는 개념 만 존재합니다. "알려진 것"은 조건에 들어가고, "알 수없는 것"은 우리가 관심이 있다면 확률을 계산하고 방해가 될 경우 주 변화하지 않는 것입니다. 따라서 신뢰할 수있는 간격은 고정 매개 변수에 대해 알려진 것을 설명하고, 알려지지 않은 것에 대해 평균화합니다. 쿠키 항아리를 포장하고 그것이 A 형이라는 것을 알고있는 사람의 입장을 취한다면 표본의 수에 관계없이 표본의 수에 관계없이 신뢰 구간은 [A] 일뿐입니다. 그리고 그들은 100 % 정확할 것입니다!

신뢰 구간은 가능한 다른 샘플에 존재하는 "랜덤 성"또는 변형을 기반으로합니다. 따라서 그들이 고려한 유일한 변형은 샘플에서의 변형입니다. 따라서 쿠키 용기를 포장 한 사람과 쿠키 A를 새로 구입 한 사람에 대한 신뢰 구간은 변경되지 않았습니다. 따라서 A 형 항아리에서 칩 1 개로 비스킷을 뽑은 경우, 잦은 주의자는 해당 유형이 항아리가 A 유형이라는 것을 알고 있지만 A가 아닙니다! (그들이 이념을 유지하고 상식을 무시한 경우). 이것이 사실임을 알기 위해,이 상황에서는 샘플링 분포가 바뀌지 않았다는 점에 유의하십시오. 우리는 단순히 매개 변수에 대한 "비 데이터"기반 정보를 가진 다른 사람의 관점을 취했습니다.

신뢰 구간은 데이터가 변경되거나 모델 / 샘플링 분포가 변경 될 때만 변경됩니다. 다른 관련 정보를 고려하면 신뢰 구간이 변경 될 수 있습니다.

이 미친 행동은 확실히 신뢰 구간의 지지자가 실제로하는 행동이 아닙니다. 그러나 그것은 특정한 경우에 그 방법의 기초가되는 철학의 약점을 보여줍니다. 신뢰 구간은 데이터 세트에 포함 된 정보 이외의 매개 변수에 대해 잘 모르면 가장 잘 작동합니다. 또한 신뢰 구간이 고려할 수없는 사전 정보가 없거나 충분하고 부수적 인 통계를 찾는 것이 어려운 경우가 아니라면 신뢰 구간은 신뢰 구간에서 크게 향상 될 수 없습니다.

내가 이해하는 것처럼 : 신뢰할 수있는 간격은 실제로 관찰 한 특정 데이터 샘플을 고려할 때 그 통계에 대한 값의 범위에 대한 진술입니다. 신뢰 구간은 동일한 기본 모집단의 다른 데이터 샘플을 사용하여 매번 실험을 여러 번 반복 할 때 실제 값이 신뢰 구간에 속하는 빈도에 대한 설명입니다.

일반적으로 우리가 대답하고자하는 질문은 "통계 값이 관측 된 데이터와 일치하는 것"이며, 신뢰할 수있는 구간은 해당 질문에 대한 직접적인 답변을 제공합니다. 통계의 실제 값은 확률이 95 인 신뢰할 수있는 구간에 있습니다. %. 신뢰 구간은이 질문에 대한 직접적인 대답을 제공하지 않습니다. 통계의 실제 값이 95 % 신뢰 구간 내에있을 확률은 95 % (신뢰할 수있는 구간과 일치하지 않는 경우)가 아니라고 주장하는 것은 올바르지 않습니다. 그러나 이것은 질문에 대한 직접적인 해답이되는 해석이기 때문에 잦은 신뢰 구간을 매우 잘못 해석하는 것입니다.

Jayne의 다른 질문에서 논의한 논문은 이에 대한 좋은 예를 보여줍니다 (예 # 5). 완벽하게 정확한 신뢰 구간이 구성되었으며,이를 바탕으로 특정 데이터 샘플이 실제 값의 가능성을 배제 함 통계의 95 % 신뢰 구간에있는 것입니다! 신뢰 구간이 우리가 관찰 한 특정 표본을 기준으로 통계의 그럴듯한 값의 통계로 잘못 해석되는 경우에만 문제가됩니다.

하루가 끝나면 "코스 말"의 문제이며 대답하려는 질문에 가장 적합한 간격은 해당 질문에 직접 대답하는 방법을 선택하십시오.

신뢰 구간은 [거의] 반복 가능한 실험 (신뢰 구간의 기본 가정이므로)을 분석 할 때 더 유용하고 관측 데이터를 분석 할 때 신뢰할 수있는 구간을 더 잘 사용하지만 의심의 여지가 있습니다 (두 가지 유형의 구간을 모두 사용합니다) 내 자신의 작업이지만 자신을 전문가로 묘사하지는 않습니다.)

신뢰 구간과 신뢰할 수있는 설정에 대한 많은 해석이 잘못되었습니다. 예를 들어 신뢰 구간은이 형식 로 표현할 수 없습니다 . 잦은 편과 베이지안의 추론에서 '분포'를 면밀히 살펴보면 베이지안이 매개 변수의 (앞) 분포에 대해 작업하는 동안 데이터에 대한 샘플링 분포에 대한 Frequentist가 작동하는 것을 볼 수 있습니다. 그것들은 완전히 다른 샘플 공간과 시그마 대수에서 정의됩니다.$P(\theta\in CI)$

예, '실험을 여러 번 반복하면 95 % CI의 약 95 %가 실제 매개 변수를 포함합니다'라고 말할 수 있습니다. 베이지안에서는 '통계의 실제 값이 확률 95 %의 95 % 신뢰할 수있는 간격에있다'고 말하지만이 95 % 확률 (베이지안) 자체는 추정치 일뿐입니다. (샘플링 분포가 아니라이 특정 데이터가 제공된 조건 분포를 기반으로 함을 기억하십시오). 이 추정기는 임의 표본으로 인해 임의 오류가 발생해야합니다.

베이지안은 제 1 종 오류 문제를 피하려고합니다. 베이지안은 항상 베이지안의 제 1 종 오류에 대해 말하는 것이 이치에 맞지 않다고 말합니다. 이것은 전적으로 사실이 아닙니다. 통계 학자들은 항상 '데이터가 의사 결정을 제안하지만 인구가 달리 제안하는'가능성 또는 오류를 측정하려고합니다. 이것은 베이지안이 대답 할 수없는 것입니다 (자세한 내용은 생략). 불행하게도, 이것은 통계학자가 대답해야 할 가장 중요한 것입니다. 통계학자는 단지 결정을 제안하지 않습니다. 통계학자는 또한 결정이 얼마나 잘못 될 수 있는지를 다룰 수 있어야합니다.

개념을 설명하기 위해 다음 표와 용어를 발명해야합니다. 이것이 신뢰 구간과 신뢰할 수있는 세트의 차이점을 설명하는 데 도움이되기를 바랍니다.

사후 분포는 이며 여기서 은 이전 에서 정의됩니다 . 빈번하게 샘플링 분포는 입니다. 의 샘플링 분포 는 입니다. 아래 첨자 은 샘플 크기입니다. 표기법을 사용하여 빈번하게 샘플링 분포를 . 당신은에 임의의 데이터에 대해 이야기 할 수 있습니다 와 하지만 당신은에 임의의 데이터에 대해 이야기 할 수없는 .$P(\theta_0|Data_n)$$\theta_0$$P(\theta_0)$$P(Data_n; \theta)$$\hat{\theta}$$P(\hat{\theta}_n; \theta)$$n$$P(Data_n | \theta)$$P(Data_n; \theta)$P(θ0|Datan$P(\hat{\theta}_n; \theta)$$P(\theta_0|Data_n)$

'???????' 베이지 안에서 제 1 종 오류 (또는 이와 유사한 것)를 평가할 수없는 이유를 설명합니다.

일부 상황에서는 신뢰할 수있는 세트를 사용하여 신뢰 구간을 근사화 할 수도 있습니다. 그러나 이것은 수학적 근사 일뿐입니다. 해석은 자주 주의자와 함께 진행되어야합니다. 이 경우 베이지안 해석은 더 이상 작동하지 않습니다.

에서 Thylacoleo 의 표기법 은 빈번하지 않습니다. 이것은 여전히 ​​베이지안입니다. 이 표기법은 빈번주의에 대해 이야기 할 때 측정 이론에서 근본적인 문제를 일으 킵니다.$P(x|\theta)$

Dikran Marsupial 의 결론에 동의합니다 . 귀하가 FDA 검토자인 경우, 귀하는 항상 귀하가 의약품 신청을 승인 할 가능성을 알고 싶지만 해당 의약품은 실제로 효과적이지 않습니다. 이것은 베이직이 최소한 클래식 / 전형적인 베이시 안에서는 제공 할 수없는 답변입니다.

일반적이고 일관된 신뢰와 신뢰할 수있는 지역. http://dx.doi.org/10.6084/m9.figshare.1528187 에 코드가있는 http://dx.doi.org/10.6084/m9.figshare.1528163

주어진 우도 함수와 일부 관측 된 데이터를 모두 계산하기 위해 일반 R 코드와 함께 세트 선택을위한 신뢰할 수있는 구간 및 신뢰 구간에 대한 설명을 제공합니다. 또한 서로 일치하는 최적 크기의 신뢰할 수있는 신뢰 구간을 제공하는 테스트 통계를 제안합니다.

간단히 말해서 공식을 피하십시오. 베이지안 신뢰할 수있는 구간 은 주어진 데이터에 대한 매개 변수 의 확률을 기반으로합니다 . 신뢰할 수있는 세트 / 간격에 확률이 높은 매개 변수를 수집합니다. 95 % 신뢰할 수있는 구간에는 데이터에 주어진 확률이 0.95 인 모수가 포함됩니다.

잦은 신뢰 구간 은 일부 매개 변수가 제공된 데이터 의 확률을 기반으로합니다 . 각각의 (아마도 무한히 많은) 매개 변수에 대해, 먼저 매개 변수가 주어지면 관찰 될 수있는 데이터 세트를 생성합니다. 그런 다음 선택한 높은 확률 데이터에 관측 된 데이터가 포함되어 있는지 여부를 각 매개 변수를 확인합니다. 확률이 높은 데이터에 관측 된 데이터가 포함되어 있으면 해당 매개 변수가 신뢰 구간에 추가됩니다. 따라서 신뢰 구간은 매개 변수가 데이터를 생성했을 가능성을 배제 할 수없는 매개 변수의 모음입니다. 이는 유사한 문제에 반복적으로 적용되는 경우 95 % 신뢰 구간에 사례의 95 %에서 실제 모수 값이 포함되도록하는 규칙을 제공합니다.

음 이항 분포의 예에 대해서는 95 % 신뢰도 세트와 95 % 신뢰도 세트

이것은 의견이 많지만 너무 깁니다. 다음 논문에서 : http://www.stat.uchicago.edu/~lekheng/courses/191f09/mumford-AMS.pdf Mumford는 다음과 같은 흥미로운 의견을 가지고 있습니다.

이 모든 흥미로운 용도는 통계로 만들어졌지만 RA 피셔 경이 이끄는 대부분의 통계 학자들은 손을 등 뒤로 묶어 통계를 전혀 재현 할 수없는 상황에서만 사용할 수 있다고 주장했다. 경험적 데이터. 이것은 소위 '빈번한'학교로 Bayesian 학교와 경쟁하여 사전을 사용할 수 있고 통계적 추론의 사용이 크게 확장되었다고 믿었습니다. 이 접근법은 통계적 추론이 실제 상황이 항상 상황 변수에 묻히고 반복 될 수 없기 때문에 실제 사고와 관련이있을 수 없음을 거부합니다. 다행히 Bayesian 학교는 DeFinetti, ET Jaynes에 의해 계속 죽어 다른 사람들을 완전히 죽이지 않았습니다.