후방 분포를 다루기 어려운 요인은 무엇입니까?

베이지안 통계에서, 사후 분포가 다루기 어려워서 대략적인 추론이 적용되어야한다고 종종 언급됩니다. 이 난치 유발 요인은 무엇입니까?

문제는 주로 베이지안 분석은 적분 , 종종 현실적인 문제에서 다차원적인 적분을 포함하며, 일반적으로 분석적으로 다루기 어려운 이러한 적분입니다 (공액 사전을 사용해야하는 특수한 경우는 제외).

대조적으로, 베이 아 이외의 통계의 대부분은 최대 가능성에 기초합니다 . 즉, 미분 , 즉 미분에 대한 지식을 포함하는 (보통 다차원) 함수의 최대 값을 찾습니다 . 그럼에도 불구하고 수치 방법은 훨씬 더 복잡한 문제에 사용되지만 문제없이 더 자주 얻을 수 있으며 수치 방법이 더 간단 할 수 있습니다 (간단한 방법이 실제로는 성능이 더 우수하더라도).

그래서 그것은 차별화보다 통합이 다루기 쉽다는 사실에 달려 있습니다.

나는 David Blei 에게 직접이 질문을 할 수있는 기회를 얻었으며, 이 맥락에서 다루기 어려운 것은 다음 두 가지 중 하나를 의미 한다고 말했다 .

1. 적분에는 폐쇄 형 솔루션이 없습니다. 복잡한 실제 데이터를 모델링 할 때 종이에 분포를 적을 수는 없습니다.

2. 적분은 계산이 어렵습니다. 그는 펜과 종이로 앉아서 베이지안 가우시안 혼합에 대한 한계 증거를 실제로 제시 할 것을 권장했습니다. 계산적으로 다루기 힘든, 즉 지수 적이라는 것을 알 수 있습니다. 그는 최근 논문에서 이에 대한 좋은 예를 제시한다 ( 2.1 대략적인 추론 문제 참조 ).

FWIW, 나는이 단어 선택이 혼란스럽게 생각합니다.

실제로 다양한 가능성이 있습니다.

1. 사후에 닫힌 양식 표현식을 사용할 수 있습니다 (예 : : 이전의 및 사후 는 분포입니다.$Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. 후자는 정규화 상수까지 접을 수 있습니다 (예 : 가 이고 보다 먼저 )로그 π N ( μ , σ (2) ) P ( π | Y = Y ) α의 P ( Y | π ) P ( π를 $Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. 데이터 생성 프로세스는 복잡한 메커니즘을 작성하여 유사성을 적을 수 없거나 평가하는 데 영원히 걸리는 경우가 있지만 데이터 생성 프로세스 (예 : 특정 속성을 처리하는 방법에 대한 일종의 프로세스)에서 시뮬레이션 할 수 있습니다. 인구에서 여러 세대에 걸쳐 개발). 위의 예제를 계속하기 위해이 경우 대한 닫힌 양식 표현식은 없지만 특정 값 주어지면 실현을 시뮬레이션 할 수 있습니다 (우리가 가지고있는 경우에 대해서는 이야기하지 않겠습니다) 데이터가 어떻게 발생하는지 모릅니다 ...).Y $p(y|\pi)$$Y$$\pi$

사람들은 일반적으로 (분석적으로) 다루기 어려운 후부에 대해 이야기 할 때와 (2) 다루기 힘든 가능성에 대해 이야기 할 때와 같은 것을 의미합니다. 근사 베이지안 계산이 옵션 중 하나 인 세 번째 경우이며, 두 번째 경우 MCMC 방법이 일반적으로 실현 가능합니다 (어떤 의미에서는 근사치 일 수 있음). 나는 확실하지 않다.이 두 인용문 중 당신이 제공 한 인용문 중 어느 것이 인용되는지.

추적 가능성은 표현의 닫힌 형태 와 관련이 있습니다.

닫힌 형식 표현으로 해결할 수 있으면 문제를 다루기 쉽다고합니다.

수학에서 닫힌 양식 표현식은 한정된 수의 연산에서 평가할 수있는 수학 표현식입니다. 상수, 변수, 특정 "잘 알려진"연산 (예 : + − × ÷) 및 함수 (예 : n 번째 근, 지수, 로그, 삼각 함수 및 역 쌍곡 함수)를 포함 할 수 있지만 일반적으로 제한은 없습니다. 닫힌 형식의 표현으로 허용되는 작업 및 함수 집합은 작성자와 컨텍스트에 따라 다를 수 있습니다.

따라서 난도 란 유한 한 수의 연산에서 평가할 수 없으므로 MCMC와 같은 근사 기법을 사용해야하는 일종의 한계 / 무한대 (예 : 적분의 무한 합산)가 있음을 의미합니다.

Wikipedia 기사는 Cobham의 논문 을 가리키며이 논문 은이 "작업량"을 공식화하려고 시도하기 때문에 다루기 쉬워집니다.