가능성 비율 대 Bayes Factor

주어진 현상에 대한 객관적인 증거를 표현하기위한 가능성 비율의 사용에 관해서는 오히려 복음 주의적입니다. 그러나 최근 베이 즈 요인이 베이지안 방법의 맥락에서 유사한 기능을 수행한다는 사실을 알게되었습니다 (즉, 주관적인 사전은 주관적인 베이 즈 요인과 결합되어 객관적으로 업데이트 된 주관적 신념 상태를 산출 함). 저는 우도 비율과 베이 즈 요인의 계산적 및 철학적 차이점을 이해하려고 노력하고 있습니다.

계산 수준에서 가능성 비율은 일반적으로 각 모델의 각 매개 변수화에 대한 최대 가능성을 나타내는 가능성을 사용하여 계산되지만 (AIC를 사용한 모델 복잡도에 따라 추정되거나 AIC를 사용한 모델 복잡성에 의해 처벌 됨) 베이 즈 요인이 어떻게 든 사용한다는 것을 이해합니다. 각 모델이 전체 매개 변수 공간에 통합 될 가능성을 나타내는 가능성 (예 : MLE뿐만 아니라). 이 통합은 실제로 일반적으로 어떻게 이루어 집니까? 매개 변수 공간에서 수천 (백만?) 개의 임의의 샘플 각각에서 우도를 계산하려고합니까, 아니면 매개 변수 공간에서 우도를 통합하는 분석 방법이 있습니까? 또한 Bayes 계수를 계산할 때

또한 우도 비와 베이 즈 요인 사이의 철학적 차이는 무엇입니까 (nbsp) 일반적으로 우도 비와 베이 즈 방법 사이의 철학적 차이에 대해서는 묻지 않지만 구체적으로 객관적인 증거를 나타내는 베이 즈 계수입니다. 가능성 비율과 비교하여 베이 즈 요인의 의미를 어떻게 특성화 할 수 있습니까?

분명히 베이 즈 요인은 어떻게 든 전체 모형 공간에 통합 된 각 모형의 가능성을 나타내는 가능성을 사용합니다 (예 : MLE만이 아님). 이 통합은 실제로 일반적으로 어떻게 이루어 집니까? 매개 변수 공간에서 수천 (백만?) 개의 임의의 샘플 각각에 대한 우도를 계산하려고합니까, 아니면 매개 변수 공간에서 우도를 통합하는 분석 방법이 있습니까?

$P(D|M)$$D$$M$

Bayes 요소를 올바른 설정에 배치하는 것이 중요합니다. 예를 들어, 두 가지 모델이 있고 확률에서 승산으로 변환하면 Bayes 요인이 사전 신념에 대한 연산자처럼 작동합니다.

$$Posterior Odds = Bayes Factor * Prior Odds$$ $$\frac{P(M_{1}|D)}{P(M_{2}|D)} = B.F. \times \frac{P(M_{1})}{P(M_{2})}$$

실제 차이점은 가능성 비율이 계산 비용이 저렴하고 일반적으로 개념적으로 지정하기 쉽다는 것입니다. MLE에서의 가능성은 각각 베이 즈 계수 분자 및 분모의 점 추정치 일뿐입니다. 대부분의 빈번한 구성과 마찬가지로이 방법은 도달하기 어려운 이전의 계획을 가진 베이지안 분석의 특별한 경우로 볼 수 있습니다. 그러나 분석적으로 다루기 쉽고 계산하기 쉽기 때문에 주로 발생했습니다 (대략 베이지안 계산 방식이 시작되기 전).

계산에있어, 예 : 거의 모든 실제 관심사에서 대규모 몬테카를로 절차를 사용하여 베이지안 설정의 다른 가능성 적분을 평가할 것입니다. 특정 분포를 가정 할 때 작동하는 GHK와 같은 일부 특수 시뮬레이터가 있으며, 이러한 가정을 수행하면 때로는 분석적으로 베이 즈 요인이 존재하는 분석적으로 다루기 힘든 문제를 찾을 수 있습니다.

그러나 아무도 이것을 사용하지 않습니다. 그럴 이유가 없습니다. 최적화 된 Metropolis / Gibbs 샘플러 및 기타 MCMC 방법을 사용하면 이러한 문제에 완전히 데이터를 기반으로 접근하고 수치를 계산할 수 있습니다. 실제로 데이터 수집 메커니즘, 무시할 수없는 실험 설계 등과 관련된 메타 우선 순위에 대한 결과를 계층 적으로 수행하고 결과를 더 통합 할 수 있습니다.

이에 대한 자세한 내용은 Bayesian Data Analysis 책을 권장합니다 . 앤드류 겔먼 (Andrew Gelman) 은 베이 즈 요인에 대해 너무 신경 쓰지 않는 것으로 보인다 . 제쳐두고, 나는 Gelman에 동의합니다. 베이지안으로 가려면 후부 전체를 활용하십시오. 베이지안 방법으로 모델 선택을하는 것은 모델 선택이 약하고 대부분 쓸모없는 형태의 추론이기 때문에 핸디캡과 비슷합니다. 가능하다면 모델 선택에 대한 분포를 알고 싶습니다. 누가 "모델 A가 모델 B보다 낫습니다"라고 말하지 않아도 될까요?

또한 Bayes 계수를 계산할 때 가능성 비율과 마찬가지로 복잡성에 대한 보정을 적용합니까 (가능성에 대한 교차 검증 된 추정을 통해 자동으로 또는 AIC를 통해 분석적으로)?

$M_{1}$$M_{2}$$d_{1}$$d_{2}$$d_{1} < d_{2}$$N$

$B_{1,2}$$M_{1}$$M_{1}$$N\to\infty$$B_{1,2}$$\infty$

$$B_{1,2} = \mathcal{O}(N^{\frac{1}{2}(d_{2}-d_{1})})$$

실비아 프루 흐히 르트-슈나 터 (Sylvia Frühwirth-Schnatter)의 유한 혼합물 및 마르코프 스위칭 모델 ( Markin Switching Models) 이라는 책에서이 파생 된 내용과 토론에 익숙 하지만, 그 기본에 대한 인식론에 대해 더 자세히 설명하는보다 직접적인 통계적 설명이있을 수 있습니다.

나는 여기에 세부 사항을 충분히 알지 못하지만 이것과 AIC의 파생 사이에는 상당히 깊은 이론적 연관성이 있다고 생각합니다. Cover and Thomas의 Information Theory Book은 적어도 이것을 암시했습니다.

또한 우도 비와 베이 즈 요인 사이의 철학적 차이는 무엇입니까 (nbsp) 일반적으로 우도 비와 베이 즈 방법 사이의 철학적 차이에 대해서는 묻지 않지만 구체적으로 객관적인 증거를 나타내는 베이 즈 계수입니다. 가능성 비율과 비교하여 베이 즈 요인의 의미를 어떻게 특성화 할 수 있습니까?

"해석"에 대한 위키 백과 문서의 섹션 이 (증거 규모의 제프리스 '강도 보여주는 특히 차트를) 논의의 좋은 일을한다.

평소와 같이 베이지안 방법과 잦은 방법 (이미 익숙한 것)의 기본적인 차이점을 넘어서는 철학적 요소가 그리 많지 않습니다.

가장 중요한 것은 가능성 비율이 네덜란드어 책 의미에서 일관성이 없다는 것입니다. 가능성 비율에서 모델 선택 유추로 인해 베팅 손실을 허용하는 시나리오를 만들 수 있습니다. 베이지안 방법은 일관성이 있지만 이전에는 매우 열악하고 주관적으로 선택해야합니다. 장단점 .. 장단점 ...

FWIW, 나는 이런 종류의 매개 변수가 많은 모델 선택이 그렇게 좋은 추론이 아니라고 생각합니다. 나는 베이지안 방법을 선호하고 더 계층 적으로 구성하는 것을 선호하며, 계산이 가능하다면 모든 후부 분포를 중심으로 추론하기를 원합니다. 베이 즈 요인에는 약간의 수학적 특성이 있다고 생각하지만, 베이지안 자체는 그다지 인상적이지 않습니다. 그들은 베이지안 분석의 정말 유용한 부분을 은폐합니다. 즉, 깔개 밑에서 쓸어 내지 않고 열린 곳에서 이전의 일을 처리해야하며, 후부 전체를 추론 할 수 있습니다.

우도 비율과 Bayes 요인의 차이를 이해함에있어 Bayes 요인의 주요 특징 중 하나를보다 자세히 고려하는 것이 유용합니다.

Bayes 요소가 기본 모델의 복잡성을 자동으로 처리하는 방법은 무엇입니까?

이 질문에 대한 한 가지 관점은 결정적 근사 추론 방법을 고려하는 것입니다. 변형 베이는 그러한 방법 중 하나입니다. 확률 근사치의 계산 복잡도 (예 : MCMC 샘플링)를 크게 줄일 수 있습니다. Variational Bayes는 또한 Bayes 요소를 구성하는 요소에 대한 직관적 인 이해를 제공합니다.

먼저 베이 즈 계수는 두 가지 경쟁 모델의 모형 증거를 기반으로합니다.

$$\begin{align} BF_{1,2} = \frac{p(\textrm{data} \mid M_1)}{p(\textrm{data} \mid M_2)}, \end{align}$$

개별 모델 증거는 복잡한 적분에 의해 계산되어야하는 곳 :

$$\begin{align} p(\textrm{data} \mid M_i) = \int p(\textrm{data} \mid \theta,M_i ) \ p(\theta \mid M_i) \ \textrm{d}\theta \end{align}$$

$p(\theta \mid \textrm{data}, M_i)$

$q(\theta)$$p(\theta \mid \textrm{data},M_i)$

$\mathcal{F}$

$$\begin{align} \mathcal{F} = \textrm{log} \; p(\textrm{data} \mid M_i) - \textrm{KL}\left[q(\theta) \; || \; p(\theta \mid \textrm{data},M_i) \right] \end{align}$$

$q(\theta) \approx p(\theta \mid \textrm{data},M_i)$$\mathcal{F}$

이제 Bayes 요소가 적합도 및 관련 모델의 복잡성을 자동으로 균형을 맞추는 방법에 대한 원래 질문으로 돌아갈 수 있습니다. 부정적인 자유 에너지는 다음과 같이 다시 쓸 수 있습니다.

$$\begin{align} \mathcal{F} = \left\langle p(\textrm{data} \mid \theta,M_i) \right\rangle_q - \textrm{KL}\left[ q(\theta) \; || \; p(\theta \mid M_i) \right] \end{align}$$

첫 번째 용어는 대략적인 후부에서 예상되는 데이터의 로그 우도입니다. 모델 의 적합도 (또는 정확도 )를 나타냅니다 . 두 번째 용어는 대략적인 후부와 이전의 KL 분기입니다. 단순한 모델은 우리의 이전 신념과 더 일치하는 모델이거나 데이터를 수용하기 위해 간단한 모델을 늘릴 필요가 없다는 관점에서 모델 의 복잡성 을 나타냅니다 .

로그 모델 증거에 대한 자유 에너지 근사는 모델 증거가 데이터 모델링 (즉, 적합도)과 이전 (즉, 단순성 또는 부정적 복잡성)과 일관성을 유지하는 것 사이의 절충을 포함한다는 것을 보여줍니다.

따라서 가능성 비율과 달리 베이 즈 요인은 두 가지 경쟁 모델 중 데이터에 대해 간단하면서도 정확한 설명을 제공하는 데 더 적합한 모델을 말합니다 .