베이지안 대 잦은 확률 해석

37

누군가 베이지안과 잦은 확률 접근 방법의 차이점을 잘 설명 할 수 있습니까?

내가 이해 한 것에서 :

잦은 주의자들은 데이터가 특정 빈도 / 확률 (시험 횟수가 무한대에 가까워 질 때 사건의 상대 빈도로 정의 됨)을 갖는 반복 가능한 랜덤 표본 (임의 변수)이라는 점입니다. 기본 파라미터 확률이 반복 과정과 편차의 변화에 기인하는 것이 변하지 하고 있지 (특정 이벤트 / 프로세스에 고정되는) 확률 분포. $X_n$

베이지안 뷰는 데이터 가 고정되어 있고 특정 이벤트에 대한 빈도 / 확률이 변경 될 수 있다는 점에서 분포의 매개 변수가 변경된다는 것입니다. 실제로, 사용자가 얻는 데이터는 각 데이터 세트에 대해 업데이트되는 매개 변수의 사전 분배를 변경합니다.

저에게 잦은 접근 방식은 사건이 특정 확률을 가지며 변동이 샘플링에 있다는 것이 합리적으로 보이기 때문에보다 실용적이고 논리적입니다.

또한 연구에서 얻은 대부분의 데이터 분석은 일반적으로 이해하기 쉽기 때문에 잦은 접근 방식 (즉, 신뢰 구간, p- 값을 사용한 가설 검정 등)을 사용하여 수행됩니다.

나는 빈번한 p- 값과 신뢰 구간의 베이지안 통계적 등가를 포함하여 베이지안 대 빈번한 접근 방식에 대한 그들의 해석을 나에게 신속하게 요약 할 수 있는지 궁금합니다. 또한, 하나의 방법이 다른 방법보다 바람직한 구체적인 예가 이해된다.

probability bayesian frequentist

— BYS2
소스

1

일부 장소에서는 통계적 추론에 대한 잦은 접근이 더 실용적이라고 말하면 화난 군중에 의해 공격을받을 것입니다. (OK, 아마도 거기에 몇 가지 그 문 과장.) 나는 그 신뢰 구간은 사후 확률 간격보다 이해하기 쉽게 동의하지 않습니다. (어쨌든 아래 답변을 참조하십시오. 가 무엇인지 아는 것 외에는 수학이 없지만 문제의 본질에 똑바로 도달한다고 생각합니다 .)

1 / 2

$1/2$

— Michael Hardy

@ DilipSarwate ay, 다음에 염두에 두겠습니다. 하지만 이번에는 몇 가지 좋은 답변을 얻은 것 같아서 여기에서 마무리하려고 할 것입니다 : D

— BYS2

도 참조 stats.stackexchange.com/q/173056/35989

— 팀

27

에서 빈도주의 접근, 확률은 의미가있는 경우에만 의미가 아니라 실험, 즉 시퀀스에서 성공 회수의 제한 값임을 표명

p = lim_{n \to \infty} \frac{k}{n}

$p = \lim_{n\to\infty} \frac{k}{n}$

여기서 는 성공 횟수이고 은 시행 횟수입니다. 특히 확률 분포를 모수 와 연관시키는 것은 의미가 없습니다 . $k$ $n$

예를 들어, 매개 변수 갖는 Bernoulli 분포의 표본 을 고려하십시오 (즉, 확률 를 갖는 값 1 과 확률 갖는 0을 가짐 ). 샘플 성공률을 다음과 같이 정의 할 수 있습니다. $X_1, \dots, X_n$ $p$ $p$ $1-p$

\hat{p} = \frac{X_{1} + \dots + X_{n}}{n}

$\hat{p} = \frac{X_1+\cdots +X_n}{n}$

및 분포에 대한 이야기 의 값을 조건으로 ,하지만 질문을 반전와의 확률 분포에 대해 이야기를 시작하는 이해가되지 않습니다 의 관측 값에 대한 조건 . 특히 이것은 신뢰 구간을 계산할 때 신뢰 구간의 끝을 임의의 변수로 해석하고 "모수가있는 확률이 아니라 구간에 실제 모수가 포함 된 확률"에 대해 이야기합니다. 신뢰 구간 내부 " $\hat{p}$ $p$ $p$ $\hat{p}$

에서 베이지안 접근, 우리는 세계에 대한 우리의 불확실성을 정량화 등의 확률 분포를 해석한다. 특히, 이제 매개 변수가 고정되어 있어도 실제 값에 대한 지식이 제한 될 수 있으므로 매개 변수의 확률 분포에 대해 의미있게 이야기 할 수 있습니다. 위의 예에서 Bayes의 법칙을 사용하여 확률 분포 를 반전 시켜 $f(\hat{p}\mid p)$

\overset{posterior}{\overset{⏞}{f (p ∣ \hat{p})}} = \underset{likelihood ratio}{\underset{⏟}{\frac{f (\hat{p} ∣ p)}{f (\hat{p})}}} \overset{prior}{\overset{⏞}{f (p)}}

$\overbrace{f(p\mid \hat{p})}^\text{posterior} = \underbrace{\frac{f(\hat{p}\mid p)}{f(\hat{p})}}_\text{likelihood ratio} \overbrace{f(p)}^\text{prior}$

걸림돌은 우리 의 분석에 사전 분포 를 도입해야한다는 것 입니다. 이것은 의 실제 값을보기 전에 의 값에 대한 우리의 믿음을 반영합니다 . 이전의 역할은 종종 객관적인 접근 방식에서 비판을받습니다. 왜냐하면 그것이 엄숙하고 엄밀한 대상 세계에 주관성을 도입한다고 주장하기 때문입니다. $p$ $X_i$

베이지안 접근법에서는 신뢰 구간에 대해 더 이상 이야기하지 않고 95 % 신뢰할 수있는 구간이 주어지면 더 자연스러운 해석을하는 신뢰할 수있는 구간 대신에 매개 변수가 구간 내에있을 확률을 95 %로 지정할 수 있습니다.

— 크리스 테일러
소스

6

다른 한편으로, 잦은 접근 방식에 대한 한 가지 비판은 사람들이 확률에 대해 어떻게 생각하는지와는 관련이 없다는 것입니다. 사람들이 공룡의 멸종과 같은 일회성 사건의 "확률"또는 내일 떠오르는 태양과 같은 "확실성"의 "확률"에 대해 사람들이 어떻게 말하는지 고려하십시오.

14

일반적으로 베이지안 해석을 부여 할 수 있습니다 유용하고 일관성있는 결과를 얻을 수있는 빈도주의 방법과 : 또한 빈도주의와 베이지안 접근 사이의 간격이 실제 수준에 큰 거의없는 것을 언급하는 것이 좋을 것입니다 반대 부사장 . 특히, 베이지안 용어에서 잦은 계산을 다시 작성하면 일반적으로 특정 사전이 주어진 후사를 계산하는 규칙이 생성 됩니다. 그러면 "사실 그게 합리적이라고 생각합니까?"라고 물을 수 있습니다.

— Ilmari Karonen

이 답변에 감사드립니다. 일반적인 이해와 일치합니다. 그러나 한 가지를 분명히 할 수 있는지 궁금합니다 .Bay의 법칙에서 데이터 / 샘플 성공률 (f (p-hat))의 확률을 어떻게 찾을 수 있습니까? 나는 몇 가지 효과적인 예제를 읽었으며 일반적으로 f (p-hat | p)와 이전 f (p)를 파생시키는 방법을 이해하지만 f (p-hat)는 지금까지 나를 피합니다. 일부 리소스에 대한 링크가 있다면 훌륭합니다. : D. 감사!

— BYS2

@IlmariKaronen. 자, 신뢰 구간으로 표현 된 특정 결과를 생성 한 연구가 있다면 데이터를 다시 변환하고 베이지안 분석을 수행 할 수 있습니까? 결과는 다소 일관성이 있을까요?

— BYS2

@Karonen의 말이 완전히 정확하지는 않습니다. 가장 일반적인 두 가지 잦은 기법은 점 추정 (보통 최대 가능성 추정)과 가설 검정이며 실제로 베이지안 해석을 자연스럽게 해석 할 수는 없습니다.

— Jules

20

Frequentist 확률에 대한 해석이 맞습니다.이 설정의 무작위성은 단지 불완전한 샘플링 때문입니다. 베이지안 관점에서 볼 때, 확률은 "주관적"입니다. 세계에 대한 에이전트의 불확실성을 반영한다는 점입니다. 분포의 매개 변수가 "변화"한다고 말하는 것은 옳지 않습니다. 매개 변수에 대한 완전한 정보가 없기 때문에 더 많은 정보를 수집함에 따라 매개 변수에 대한 불확실성이 변경됩니다.

두 가지 해석 모두 응용에 유용하며 상황에 따라 더 유용합니다. Andrew 응용 프로그램에 대한 아이디어는 Andrew Gelman의 블로그를 확인하십시오 . 많은 상황에서 베이지안이 "우선 순위"라고 부르는 경우 빈번한 사람들은 "규제화"라고 부릅니다. 실제로, 베른슈타인-폰 미제스 정리에 따르면, 베이지안과 빈번한 추론은 실제로 다소 약한 가정 하에서 무증상 적으로 동등합니다 (물론 정리는 무한 차원 분포에서는 실패합니다). 이것에 대한 많은 참고 자료를 여기서 찾을 수 있습니다 .

해석을 요청한 이후 : 과학적 실험을 모델링 할 때 Frequentist 관점이 의미가 있다고 생각합니다. 기계 학습이나 귀납적 추론 (또는 학습) 모델링의 일부 응용 분야에서는 베이지안 확률이 더 의미가 있습니다. 고정 된 "진정한"확률로 이벤트를 모델링 할 수없는 상황이 많이 있습니다.

Laplace로 돌아가는 장난감 예제의 경우 내일 해가 뜰 확률을 고려하십시오. Frequentist 관점에서 우리는 확률을 정의하기 위해 무한히 많은 우주와 같은 것을 배치해야합니다. 베이지안으로서, 오직 하나의 우주 만이 존재합니다 (또는 적어도 많은 우주가 필요하지는 않습니다). 태양이 뜨는 것에 대한 우리의 불확실성은 내일 다시 일어날 것이라는 매우 강한 사전의 믿음으로 말 미암습니다.

— 네
소스

17

확률의 베이지안 해석은 신뢰도 해석입니다.

베이지안은 10 억년 전에 화성에 생명이 있었을 확률은 라고 말할 수있다 . $1/2$

잦은 주의자는 그 제안에 확률을 부여하지 않을 것입니다. 모든 경우의 절반에서 사실이라고 말할 수있는 것은 아니므로 확률 할당 할 수 없습니다 . $1/2$

— 마이클 하디
소스

2

RT Cox 의 고전 논문 보다 더 좁은 잦은 접근 방식과 베이지안 접근 방식의 일반성 (논리 확장)의 한계를 숙고하기에 더 좋은 곳은 없을 것입니다 .

— gwr

2

콕스는 또한 Johns Hopkins가 출판 한 Probable Inference의 대수 라는 제목의 책을 썼습니다 . @gwr

$\qquad$

— Michael Hardy

1

이안 해킹 (Ian Hacking)은 자신의 저서 "확률과 유도 논리에 대한 소개"에서 잘 설명했다. 그는 "베이지안은 개인의 가능성이나 신념을 개인의 명제에 첨부 할 수있다"고 강조했다. 도덕 주의자들은 확률이 일련의 사건에만 첨부 될 수 있다고 생각한다.

— 단추 840

9

Chris는 확률에 대한 두 가지 접근 방식을 올바르게 차별화하는 훌륭한 간단한 설명을 제공합니다. 그러나 잦은 확률 이론은 단순히 성공의 장거리 비율을 보는 것 이상입니다. 또한 분포에서 무작위로 표본 추출 된 데이터를 고려하고 특정 유형의 데이터 평균을 취하여 평균 및 분산과 같은 분포의 추정 모수를 추정합니다 (예 : 평균이 관측치의 산술 평균 임). 추정치가 샘플링 분포라고합니다.

주파수 이론에서 우리는 추정치가 실제 모수에 수렴한다는 샘플에서 평균을 취한 평균과 같은 모수에 대해 표시 할 수 있습니다. 표본 추출 분포는 추정값이 고정 표본 크기 n에 대한 모수에 얼마나 가까운 지 설명하는 데 사용됩니다. 닫기는 정확도 측정 (예 : 평균 제곱 오류)으로 정의됩니다.

Chris는 Bayesian이 사전 확률 분포를 부착하는 평균과 같은 매개 변수를 지적합니다. 그런 다음 데이터 베이 즈 규칙을 사용하여 모수에 대한 사후 분포를 계산합니다. 베이지안의 경우 모수에 대한 모든 추론은이 후방 분포를 기반으로합니다.

상용 주의자는 모수에 대한 가능한 값의 간격 인 신뢰 구간을 구성합니다. 이들의 구성은 구간을 생성하는 데 사용 된 공정이 독립 표본에 대해 여러 번 반복 된 경우 실제로 매개 변수의 실제 값을 포함하는 구간의 비율이 사전에 지정된 신뢰 수준 (예 : 95 %) 일 것이라는 잦은 확률에 기초합니다. ).

베이지안은 신뢰할 수있는 영역을 구성하기 위해 매개 변수에 사후 분포를 사용합니다. 이들은 단순히 지정된 공간 (예 : 0.95)을 얻기 위해 사후 분포가 통합되는 매개 변수 공간의 영역입니다. 신뢰할 수있는 영역은 베이지 안에서 매개 변수의 실제 값을 포함 할 확률이 높은 (예 : 사전 지정된 0.95) 영역으로 해석됩니다.

— 마이클 체 르닉
소스

1

신뢰할 수있는 영역은 베이지 안에서 매개 변수의 실제 값을 포함 할 확률이 높은 (예 : 미리 지정된 0.95) 영역으로 해석됩니다 . 매개 변수가 랜덤 변수 인 경우 어떻게 가능합니까?

@ Procrastinator 알았을 것입니다. 미리 지정된 비율의 모수 분포를 다루고 있다고 말할 수도 있습니다. 그러나 X가 분포 f를 갖는 랜덤 변수이고 신뢰할 수있는 영역을 구성하는 경우 영역은 임의 변수의 실현이 영역에있을 확률을 나타냅니다.

— Michael Chernick

이 설명에 동의합니다. 랜덤 변수의 실현이 매개 변수의 실제 값이 아님을 명확히하는 것이 중요합니다.

@Procrastinator는 흥미로운 점입니다. 그러나 베이지안 확률에 대한 나의 이해는 많은 베이지안이 해당 통계의 단일 TRUE 값 (고정되었지만 알 수 없음)이 고전 통계 학자와 동의한다는 것입니다. 그것은이다 불확실성 때문에 지식의 우리의 불완전한 상태의 분산이 매개 변수에 대한. 따라서 이런 식으로 생각하면 Michael Chernick의 초기 진술이 유효하다고 생각하지 않습니까?

— BYS2

2

@MichaelChernick 베이지안 신뢰성 영역이 무엇을 의미하는지에 대한 잘못된 해석이 있다고 생각합니다. 매개 변수의 실제 값이 이고 이전에 유니폼을 선택 한다고 가정 하십시오 . 따라서 신뢰 구간에는 매개 변수의 실제 값이 포함되지 않으므로 추론과 모순됩니다.

θ_{0} = 1

$\theta_0=1$

(1, 100)

$(1,100)$

2

"실제 세계"의 관점에서, 나는 적어도 세 가지 주요 시나리오에 적용되는 잦은 주의자와 고전적 또는 베이지안 "솔루션"의 한 가지 큰 차이점을 발견했습니다. 방법론 선택의 차이는 모집단 확률의 영향을받는 솔루션이 필요한지 또는 개별 확률의 영향을받는 솔루션이 필요한지에 따라 다릅니다. 아래 예 :

40 세 이상의 남성이 특정 연도에 사망하고 생명 보험료를 지불 할 확률이 5 % 인 것으로 알려진 경우, 보험 회사는 5 % 인구 비율을 사용하여 비용을 추정 할 수 있지만 40 세 이상의 각 남성은 5 %의 사망 확률 ... 무의미합니다 ... 5 %는 100 %의 사망 확률을 가지기 때문에 잦은 접근 방식입니다. 개별 수준에서 사건이 발생하거나 (100 % 확률) 그렇지 않습니다 (0 % 확률). 그러나이 제한된 정보를 기반으로 100 % 사망 확률을 가진 개인을 예측할 수 없으며 5 "평균화 된"모집단 확률 %는 개별 수준에서 쓸모가 없습니다.
위의 주장은 건물의 화재에도 똑같이 적용되므로, 인구의 모든 건물에 스프링클러가 필요합니다.
위의 주장은 정보 시스템 브리치, 손상 또는 "해킹"에도 동일하게 적용됩니다. 인구 비율은 쓸모가 없으므로 모든 시스템을 보호해야합니다.

— 제임스 J 핀
소스

2

나는이 세 가지 경우에 빈번한 접근을 인식하지 못한다. 그것들은 모두 고전적인 모델에서 사용되지 않는 확률에 대한 회고 적, 따라서 쓸모없는 개념에 의존하는 것으로 보인다. 예를 들어, "사건이 발생했거나 발생하지 않는다"는 주장은 사소한 사실이지만 확률과는 관련이 없습니다.

— whuber

0

해석의 선택은 질문에 달려 있습니다. 우연한 게임에서 확률을 알고 싶다면 고전적인 해석으로 문제를 해결할 수 있지만 공정한 주사위에는 메모리가 없으므로 통계 데이터는 쓸모가 없습니다.

과거 경험을 바탕으로 미래의 사건을 예측하려면 잦은 해석이 정확하고 충분합니다.

과거의 사건이 발생했는지 여부를 모르고 그 사건의 가능성을 평가하려면 사전에 알고 있어야합니다. 즉, 사건 발생 가능성에 대해 이미 알고있는 것을 알아야합니다. 새로운 데이터.

문제는 어느 정도의 신념에 관한 것이며 각 사람은 이전의 것에 대해 다른 생각을 가질 수 있기 때문에 해석은 필연적으로 주관적입니다.

— 아 비엘 로이-샤피 라
소스