누구나 가장 간단한 용어로 켤레 사전을 설명 할 수 있습니까?

23

나는 베이지안 통계에서 켤레 이전의 개념을 잠시 이해하려고 노력했지만 단순히 이해하지 못한다. 누구나 "가우스 사전"을 예로 사용하여 가장 간단한 용어로 아이디어를 설명 할 수 있습니까?

bayesian conditional-probability conjugate-prior

— 제나 마이즈
소스

23

매개 변수에 대한 선행은 거의 항상 특정 기능적 형태 (일반적으로 밀도 측면에서 작성 됨)를 갖습니다. 특정 분포의 특정 패밀리로 제한한다고 가정하고,이 경우 이전 패밀리를 선택하면 해당 패밀리의 매개 변수를 선택하는 것으로 줄어 듭니다.

예를 들어, 일반 모형 $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ . 간단하게하기 위해 알려진 바와 같이 도 취하겠습니다 $\sigma^2$ . 모형의이 부분 (데이터 모형)이 우도 함수를 결정합니다.

베이지안 모형을 완성하려면 대한 사전이 필요합니다 . $\mu$

위에서 언급 한 것처럼 일반적으로 에 대한 이전의 분포 패밀리를 지정할 수 있으며 해당 분포의 매개 변수 만 선택하면됩니다 (예를 들어, 종종 사전 정보가 대략 모호한 곳과 같이 상당히 모호 할 수 있음) 매우 구체적인 기능적 형태가 아니라 매개 변수를 선택하여 원하는 것을 모델링 할 수있는 충분한 자유를 가질 수 있습니다. $\mu$

경우 는 대한 후방 밝혀 으로부터입니다 같은 이전, 이전 IS는이라고 그 "결합체"와 같은 가족. $\mu$

(공액으로 판명되는 것은 가능성과 결합하는 방식입니다)

이 경우 대해 가우시안을 취합시다 (예 : ). 그렇게하면 의 후부 가 가우시안임을 알 수 있습니다. 결과적으로 가우시안 이전의 모델은 위의 모델에 대한 켤레 이전이었습니다. $\mu$ $\mu\sim N(\theta,\tau^2)$ $\mu$

그게 전부입니다. 후부가 이전과 같은 가족 출신이라면, 그것은 이전의 켤레입니다.

간단한 경우에는 가능성을 검사하여 켤레를 식별 할 수 있습니다. 예를 들어, 이항 우도를 고려하십시오. 상수를 떨어 뜨리면 의 베타 밀도처럼 보입니다 . 때문에 방식의 힘의 와 결합, 그것은 다중 베타에 의해 사전도의 힘의 제품을 제공하는 것입니다 와 우리는 가능성이에서 즉시 볼 수 있도록 ... 베타는 이항 우도에서 에 대한 컨쥬 게이트 일 것이다 . $p$ $p$ $(1-p)$ $p$ $(1-p)$ $p$

가우시안의 경우 로그 밀도와 로그 우도를 고려하여 발생하는 것이 가장 쉬운 방법입니다. 로그 우도는 로 2 차이고 2 차 2 차의 합은 2 차이므로 2 차 로그 우선 + 2 차 로그 우도는 2 차 후부를 제공합니다 (물론 가장 높은 항의 계수는 음수가됩니다). $\mu$

— Glen_b-복귀 모니카
소스

9

모델은에 속하는 경우 지수 가족 분포의 밀도가 양식 인 경우이며,

f (x | θ) = h (x) \exp {T (θ) \cdot S (x) - ψ (θ)} x \in X θ \in Θ

$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$ 주어진 지배적 측정(레 베스, 카운팅 등) 과 관련하여

, 여기서

t \cdot s

$t\cdot s$ 는

R^{d}

$\mathbb{R}^d$ 및

대한 스칼라 곱을 나타냅니다

T : X ⟶ R^{d} S : Θ ⟶ R^{d}

$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$ 는 측정 가능한 함수이고,

θ

$\theta$ 에서의 켤레 이전은

π (θ | ξ, λ) = C (ξ, λ) \exp {T (θ) \cdot ξ - λ ψ (θ)}

$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$ 형식의 밀도로 정의됩니다.

[에 대하여임의로 선택되지 잡으며 측정

d ν

$\text{d}\nu$ 에서

Θ

$\Theta$ 함께]

C (ξ, λ)^{- 1} = \int_{Θ} \exp {T (θ) \cdot ξ - λ ψ (θ)} d ν < \infty

$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$ 및

λ \in Λ \subset R_{+}

$\lambda\in\Lambda\subset\mathbb{R}_+$ ,

ξ \in Ξ \subset λ T (X)

$\xi\in\Xi\subset \lambda T(\mathcal{X})$

지배적 인 조치의 선택은 이전 가족에 결정적입니다. 예를 들어 Glen_b의 답변 에서와 같이 $\mu$ 에 대한 정규 평균 가능성에 직면하는 경우 Lebesgue 측정 값 를 지배 측정 값으로 선택하면 Normal 선행 조건이 켤레가됩니다. 대신 하나를 선택하면 지배적 조치로는, 공액 전과는 밀도 분포의 가정 내에 $\text{d}\mu$ $(1+\mu^2)^{-2}\text{d}\mu$

특급 {- α (μ - μ_{0})^{2}} α > 0, μ_{0} \in 아르 자형

$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$ 이 우세한 측정과 관련하여

이므로 더 이상 보통이 아닙니다. 이러한 어려움은 가능성의 특정 매개 변수화를 선택하고이 매개 변수화에 대한 Lebesgue 측정을 선택하는 것과 본질적으로 동일합니다. 우도 함수에 직면 할 때 매개 변수 공간에 대한 내재적 (또는 내재적 또는 참조) 측정 기준이 없습니다.

이 지수 군 설정 외에는 공액 사전을 허용하는 고정 된지지를 갖는 중요하지 않은 분포 군이 없습니다. 이것은 Darmois-Pitman-Koopman lemma 의 결과입니다 .

— 시안
소스

11

"가장 간단한 용어로?" 측정에 대한 사전 지식이 없다고 가정하는 설명이 OP에 더 유용 할 것입니다.

3

아아, 나는 복합적인 사전이 측정 배경이없는 무의미하다고 두려워한다 (이것이 우주에서 가장 비밀로 유지 되더라도).

— 시안

6

제 생각에는 "가장 간단한 용어"는 해석에 개방적이며, 측정 이론과 같은 고급 수학을 사용하는 설명은 여전히 어떤 의미에서 "단순"할 수 있으며, 이러한 기계를 피하는 설명보다 "단순"할 수도 있습니다. 어쨌든 그러한 설명은 그것을 이해하는 데 필요한 배경을 가진 사람에게는 매우 깨달을 수 있으며 주제를 설명하는 다양한 방법 목록에 이와 같은 대답을 포함시키는 것은 무해합니다. 우리는 OP뿐만 아니라 미래의 모든 독자를위한 답변을 작성합니다.

— littleO

1

@LBogaardt이 답변이 주제에 대해 더 적절한 수준에 있다고 생각되는 하나 이상의 질문에 연결할 수 있으면 비판이 더 커질 것입니다. "간단한"은 잘 정의 된 용어가 아니며 주관적인 해석이 다릅니다. 그럼에도 불구하고 귀하의 의견에 의해 제안 된 바와 같이, "수학적으로 복잡하지 않은"과 혼동하는 것은 유효하지 않습니다.

— whuber

2

시안의 대답은 나에게 쓸모가 없습니다. 나는 무언가를 배웠다.

— littleO

2

저는 배포판의 "커널"이라는 개념을 사용하는 것을 좋아합니다. 여기서 매개 변수에 의존하는 부분 만 남겨 둡니다. 몇 가지 간단한 예입니다.

피 (μ | ㅏ, 비) = {케이}^{- 1} \times 특급 (ㅏ μ^{2} + 비 μ)

$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$

K

$K$

K = \int \exp (a μ^{2} + b μ) d μ = \sqrt{\frac{π}{- a}} \exp (- \frac{b^{2}}{4 a})

$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$

E (μ | a, b) = - \frac{b}{2 a}

$E(\mu|a,b)=-\frac{b}{2a}$

V a r (μ | a, b) = - \frac{1}{2 a}

$Var(\mu|a,b)=-\frac{1}{2a}$

피 (θ | ㅏ, 비) = {케이}^{- 1} \times θ^{ㅏ} (1 - θ)^{비}

$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$

K = \int θ^{a} (1 - θ)^{b} d θ = B e t a (a + 1, b + 1)

$K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

우도 함수를 볼 때도 같은 일을 할 수 있고 "커널 형태"로 표현할 수 있습니다. 예를 들어 iid 데이터

피 (디 | μ) = \prod_{나는 = 1}^{엔} 피 ({엑스}_{나는} | μ) = 큐 \times 에프 (μ)

$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$

$Q$ $f(\mu)$

피 (디 | μ) = \prod_{나는 = 1}^{엔} 피 ({엑스}_{나는} | μ) = \prod_{나는 = 1}^{엔} \frac{1}{\sqrt{2 π}} 특급 (- \frac{({엑스}_{나는} - μ)^{2}}{2}) = [\prod_{나는 = 1}^{엔} \frac{1}{\sqrt{2 π}}] \times \prod_{나는 = 1}^{엔} 특급 (- \frac{({엑스}_{나는} - μ)^{2}}{2}) = (2 π)^{- \frac{엔}{2}} \times 특급 (- \sum_{나는 = 1}^{엔} \frac{({엑스}_{나는} - μ)^{2}}{2}) = (2 π)^{- \frac{엔}{2}} \times 특급 (- \sum_{나는 = 1}^{엔} \frac{{엑스}_{나는}^{2} - 2 {엑스}_{나는} μ + μ^{2}}{2}) = (2 π)^{- \frac{엔}{2}} \times 특급 (- \sum_{나는 = 1}^{엔} \frac{{엑스}_{나는}^{2}}{2}) \times 특급 (μ \sum_{나는 = 1}^{엔} {엑스}_{나는} - μ^{2} \frac{엔}{2}) = 큐 \times 특급 (ㅏ μ^{2} + 비 μ)

$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$

$a=-\frac{n}{2}$ $b=\sum_{i=1}^n x_i$ $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

$\mu$

피 (μ | ㅏ_{0}, 비_{0}) = {케이}_{0}^{- 1} 특급 (ㅏ_{0} μ^{2} + 비_{0} μ)

$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$

피 (μ | 디, ㅏ_{0}, 비_{0}) \propto {케이}_{0}^{- 1} 특급 (ㅏ_{0} μ^{2} + 비_{0} μ) \times 큐 \times 특급 (ㅏ μ^{2} + 비 μ) = {케이}_{0}^{- 1} \times 큐 \times 특급 ([ㅏ + ㅏ_{0}] μ^{2} + [비 + 비_{0}] μ) \propto 특급 ([ㅏ + ㅏ_{0}] μ^{2} + [비 + 비_{0}] μ)

$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$

어떤 의미에서, 접합체 선행은 관찰 된 데이터에 "의사 데이터"를 추가 한 다음 파라미터를 추정하는 것과 유사하게 작용한다.

— 확률 론적
소스

1

(+1) 의사 데이터 직관에 감사합니다!

— 시안

1

$D_{lik}$

$D_{pri}$

$D_{pri}$ $D_{lik}$

$\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$

— 토마스 G.
소스

이것은 공액 이전이 무엇인지 어떻게 설명 합니까?

— LBogaardt

알겠습니다. 편집하겠습니다.

— Thomas G.