변형 추론, KL 발산에는 실제 가 필요합니다.

변동 추론에 대한 나의 (매우 겸손한) 이해 를 위해, 다음을 최적화 하는 분포 를 찾아서 미지의 분포 를 근사하려고합니다 . $p$ $q$

K L (p | | q) = \sum_{x} p (x) l o g \frac{p (x)}{q (x)}

$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$

변형 추론을 이해하는 데 시간을 투자 할 때마다이 공식에 계속 도달하고 도움이 될 수는 없지만 요점을 놓친 것 같습니다. 을 계산하려면 를 알아야 할 것 같습니다 . 그러나 요점은이 배포판 몰랐다는 것 입니다. $p$ $KL(p||q)$ $p$

변이를 읽으려고 할 때마다 나를 괴롭힌 것은이 정확한 요점입니다. 내가 무엇을 놓치고 있습니까?

편집 :

@wij의 답변의 결과로 여기에 몇 가지 추가 의견을 추가 할 것입니다.보다 정확한 시도를 할 것입니다.

내가 관심이있는 경우 다음 사항을 고려하는 것이 실제로 합리적으로 보입니다.

p (θ | D) = \frac{p (D | θ) p (θ)}{p (D)} \propto p (D | θ) p (θ)

$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$

이 경우 및 대한 모델 선택을 했으므로 가 어떻게 비례 해야하는지 알 수있었습니다 . 그런 다음 이제 추정 할 수 있도록 가족 분포 [가우시안이라고 가정]를 선택해야 한다고 말할 수 있을까요 ? 이 경우 정규화되지 않은 가까운 가우시안에 적합하려고합니다 . 이 올바른지? $p$ $p(D|\theta)$ $p(\theta)$ $q$ $KL(p(\theta|D) || q)$ $p(D|\theta)p(\theta)$

그렇다면 내 후부는 정규 분포라고 가정하고 발산 과 관련 하여이 분포에 대한 가능한 값을 찾으려고합니다 . $KL$

variational-bayes

— 빈센트 워머 담
소스

나는 당신이 를 완전히 알려지지 않은 대상으로 취급한다고 생각 합니다. 나는 이것이 사실이라고 생각하지 않습니다. 이것은 아마도 당신이 놓친 것입니다. $p$

(iid) 을 관찰 하고 와 를 가정하는 를 추론하려고합니다. 는 모델에 의해 지정됩니다. 베이 즈의 법칙에 따라 $Y = \{y_i\}_{i=1}^n$ $p(x|Y)$ $p(y|x)$ $p(x)$ $x\in\mathbb{R}^d$

p (x | Y) = \frac{p (x)}{p (Y)} p (Y | x) = \frac{p (x)}{p (Y)} \prod_{i = 1}^{n} p (y_{i} | x) .

$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$

첫 번째 관찰은 사후 분포 대해 알고 있다는 것 입니다. 위와 같이 주어집니다. 일반적으로 노멀 라이저 는 모릅니다 . 우도 가 매우 복잡하다면, 복잡한 분포 갖게 됩니다. $p(x|Y)$ $p(Y)$ $p(y|x)$ $p(x|Y)$

변형 추론을 가능하게하는 두 번째 일은 가 취할 수 있는 형식에 제약이 있다는 것입니다 . 제약이 없다면, 는 가 될 수 있으며 일반적으로 다루기 어렵습니다. 일반적으로 는 지수 군의 선택된 부분 집합에있는 것으로 가정합니다. 예를 들어, 이것은 완전 인수 분해 가우시안 분포의 계열 일 수 있습니다. 즉 입니다. 이것이 제약 조건 세트라면 각 구성 요소는 다음과 같이 주어집니다. $q$ $\arg \min_q KL(p||q)$ $p$ $q$ $q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$ $q$

q_{i} \propto \exp (E_{\prod_{j \neq i} q_{j}} \log p (x, Y)),

$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$

여기서정확한 공식은별로 중요하지 않습니다. 요점은 실제 에 대한 지식 과 대략적인 가 취해야 하는 형태의 가정에 의존 하여 대략적인 를 찾을 수 있다는 것입니다. $p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$ $q$ $p$ $q$

최신 정보

다음은 질문에서 업데이트 된 부분에 대한 답변입니다. 방금 대해 생각하고 있음을 깨달았습니다 . 항상 실제 수량으로 를 사용 하고 대략적인 수량으로 를 사용합니다. 변동 추론 또는 변동 베이에서 는 $KL(q||p(x|Y))$ $p$ $q$ $q$

q = \arg min_{q \in Q} K L (q | | p (x | Y)) .

$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$

위와 같이 제약 조건을 로 설정 하면 솔루션이 이전에 제공된 것입니다. 지금 생각하고 있다면 $\mathcal{Q}$

q = \arg min_{q \in Q} K L (p (x | Y) | | q),

$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$

위한 지수 가족들의 서브셋으로 정의하고 이러한 추론이라고 기대 전파 (EP). 이 경우 에 대한 해는 모멘트가 의 모멘트와 일치하는 것입니다 . $\mathcal{Q}$ $q$ $p(x|Y)$

어느 쪽이든, 당신은 본질적으로 어떤 형태를 취하기 위해 제한 된 분포 의해 KL 의미의 실제 후방 분포를 근사하려고한다고 말하는 것이 옳습니다 . $q$

— wij
소스

나는 이것으로 논쟁 할 수 없다. 나는 이것에 대한 내 자신의 광택을 포함한 대부분의 설명을 생각합니다.

— Peadar Coyle