베이지안 분석의 가능성과 조건부 분포

우리는 베이 즈 정리를 다음과 같이 쓸 수 있습니다.

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

여기서 는 사후, 는 조건부 분포, 는 이전입니다. $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

또는

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

여기서 는 사후, 는 우도 함수이고 는 이전 함수 입니다. $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

내 질문은

조건부 분포가 아닌 우도 함수를 사용하여 베이지안 분석을 수행하는 이유는 무엇입니까?
가능성과 조건부 분포의 차이점이 무엇인지 말로 표현할 수 있습니까? 가능성은 확률 분포가 아니며 입니다. $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— kzoo
소스

다른 점이 없다! 가능성은 조건부 분포 이며, 비례하므로 모든 것이 중요합니다.

f (X | θ)

$f(X | \theta)$

— kjetil b halvorsen

이전 매개 변수 에는 밀도 있습니다. 실현 경우 값을 갖는다 동안 랜덤 변수의 관측 값 , 우도 함수의 다음 값 이고 정확하게 값 조건부 밀도의 의 . 차이점은 모든 구현에 대해 입니다 . 그러나 의 함수로서

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (고정 ), 이다 하지 밀도 :

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— 딜립 사와 트는

답변:

가정 당신은 가지고 주어진 조건에 독립적 인 (해당 값이 실험에서 관찰됩니다) 확률 변수를 으로 조건부 밀도 , 입니다. 이것은 당신의 (가정) 통계 (조건부) 모델이며, 조건부 밀도는 각각의 가능한 값을 표현 (임의)의 매개 변수 ,의 값에 대한 당신의 불확실성 의, 전에 당신은 어떤에 액세스 할 수 실제 데이터. 조건부 밀도를 사용하면 예를 들어 다음과 같은 조건부 확률을 계산할 수 있습니다. $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ 각 .

θ

$\theta$

실험의 한 번의 실행에서 관찰 된 의 실제 값 값 (실현) 샘플에 액세스 한 후 상황이 변경됩니다. 관찰 가능한 대한 불확실성이 더 이상 없습니다. . 임의의 가 일부 매개 변수 공간 값을 가정한다고 가정하십시오 . 지금, 당신은 그 알려진 (고정) 값을 정의 함수 에 의한 참고 은 "우도 함수"라고도은의 함수이며 $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ . 이 "데이터를 보유한 후"상황에서 가능성 에는 고려중인 특정 조건부 모델 에 대해이 특정 샘플에 포함 된 매개 변수에 대한 모든 정보 . 실제로 은 대한 충분한 통계량입니다 .

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

질문에 대답하고 조건부 밀도와 가능성의 개념 간의 차이점을 이해하려면 수학 정의 (명확하게 다릅니다 : 특성이 다른 수학 객체가 다름)를 명심하고 조건부 밀도는 "사전"이라는 점을 기억하십시오. -sample "객체 / 개념, 가능성은"샘플 후 "입니다. 이 모든 것이 또한 베이지안 추론 (이상적으로는 생각하지 않는 방식으로)이 "조건부 분포가 아닌 가능성 함수를 사용하여"수행 된 이유에 답하는 데 도움이되기를 바랍니다. 베이지안 추론의 목표는 다음과 같습니다. 사후 분포를 계산하기 위해 관측 된 (알려진) 데이터를 조건으로합니다 .

— 선
소스

나는 가능성과 조건부 확률이 다르다고 젠이 맞다고 생각합니다. 우도 함수에서 θ는 랜덤 변수가 아니므로 조건부 확률과 다릅니다.

— Martine

비례는 분석을 단순화하는 데 사용됩니다

베이지안 분석은 일반적으로 베이 즈 정리에 대한 더 간단한 진술 을 통해 수행되며 , 여기서 우리는 관심 매개 변수와 관련하여 비례 측면에서만 작동합니다. 샘플링 밀도가 표준 IID 모델의 경우 다음과 같이 표현할 수 있습니다. $f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

이 Bayesian 업데이트 문은 매개 변수 와 비례하여 작동합니다 . 두 가지 비례 단순화를 사용합니다. 하나는 우도 함수 (샘플링 밀도에 비례)를 사용하고 다른 하나는 사후 (우연과 곱의 결과에 비례)를 사용합니다. 후자는 밀도 함수 (연속적인 경우)이므로 정규 규칙은 유효한 밀도를 산출하는 데 필요한 곱셈 상수를 설정합니다 (즉, 하나에 통합하기 위해). $\theta$

이 방법으로 비례를 사용하면 매개 변수 에 의존하지 않는 함수의 곱셈 요소를 무시할 수 있다는 장점이 있습니다. 이것은 우리가 수학의 불필요한 부분을 쓸어 내고 업데이트 메커니즘에 대한 간단한 진술을함으로써 문제를 단순화하는 경향이 있습니다. 이것은 Bayes의 규칙이 비 비례 적 형태로 작동하기 때문에 수학적 요구 사항은 아니지만 작은 동물의 두뇌를 위해 일을 더 단순 하게 만듭니다 . $\theta$

적용 예 : 관찰 된 데이터가 인 IID 모델을 고려하십시오 . 분석을 용이하게하기 위해 통계 및 는 처음 두 샘플 모멘트입니다. 이 모델에는 샘플링 밀도가 있습니다. $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

원하는 경우이 샘플링 밀도로 직접 작업 할 수 있습니다. 그러나이 밀도의 처음 두 항은 의존하지 않는 곱셈 상수입니다 . 이러한 용어를 추적해야하는 것은 성가신 일이므로 제거해 보도록하겠습니다. $\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

추가 용어를 추적 할 필요가 없기 때문에 약간 단순화합니다. 이제 우리는 정수 분모를 포함한 전체 방정식 버전을 사용하여 Bayes의 규칙을 적용 할 수 있습니다. 그러나 다시, 이것은 우리가 의존하지 않는 또 다른 성가신 곱셈 상수를 추적해야합니다 (우리는 그것을 얻기 위해 적분을 풀어야하기 때문에 더 성가시다). 따라서 베이 즈의 규칙을 비례 형태로 적용 해 봅시다. 알려진 정밀 매개 변수 과 함께 켤레 사전 을 사용 하면 다음과 같은 결과를 얻습니다 ( square 를 완료하여 ). $\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

따라서이 작업을 통해 사후 분포가 정규 밀도에 비례한다는 것을 알 수 있습니다. 후방이해야하기 때문에 수 밀도, 이것은 후부는 것을 의미 인 그 정상 밀도 :

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

따라서 우리 는 매개 변수 의 후부 가 일반적으로 다음과 같이 주어진 평균과 분산으로 분포됨을 알 수있다. $\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

이제 우리가 도출 한 사후 분포는 그 정면에 일정한 통합이 있습니다 ( 정규 분포 의 형태를 찾아서 쉽게 찾을 수 있습니다 ). 그러나이 곱셈 상수에 대해 걱정할 필요가 없었습니다. 수학이 단순화 될 때마다 모든 곱셈 상수가 제거되었습니다. 곱셈 상수를 추적하면서 동일한 결과를 도출 할 수 있지만 이것은 훨씬 더 복잡합니다.

— 벤-복원 모니카
소스

Zen의 대답은 실제로 확률 함수와 랜덤 변수 값의 결합 밀도가 어떻게 다른지 말해줍니다. 여전히 수학적으로 x s 및 θ 둘 다의 함수로서 그것들은 동일하며, 그런 의미에서 가능성은 확률 밀도로서 볼 수있다. Bayes 사후 분포에 대한 공식에서 지적하는 차이는 단지 표기법의 차이입니다. 그러나 차이점의 미묘함은 Zen의 답변에 잘 설명되어 있습니다. $_i$

이 문제는 가능성 기능과 관련하여이 사이트에서 논의 된 다른 질문에서 발생했습니다. kjetil과 Dilip의 다른 의견도 내가 말하는 것을지지하는 것 같습니다.

— 마이클 R. 체 르닉
소스