몬테카를로와 결합 된 변형 베이

변형 베이에 대해 읽고 있는데, 이해할 때 를 사용하여 ( 는 모델의 잠재 변수이고 는 관측 된 데이터 임) 를 근사한다는 아이디어가 나옵니다. , 가정을하면 해당 으로 factorizes 잠재 변수들의 서브 세트이다. 그러면 최적 인자 는 다음과 같습니다. $p(z\mid x)$$z$$x$$q(z)$$q$$q_i(z_i)$$z_i$$q_i(z_i)$

$$q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.}$$

여기서 꺾쇠 괄호는 분포 와 관련하여 를 제외한 모든 잠재 변수에 대한 기대치를 나타냅니다 .$z_i$$q(z)$

이제이 표현은 일반적으로 분석적으로 평가되어 대략적인 목표 값에 대한 정확한 답을 제공합니다. 그러나 이것이 기대이기 때문에 명백한 접근법은 샘플링 으로이 기대치를 근사하는 것입니다. 이것은 대략적인 목표 함수에 대한 대략적인 답변을 제공하지만 분석 접근법이 불가능한 경우 매우 간단한 알고리즘을 만듭니다.

내 질문은 이것이 알려진 접근법 입니까? 이름이 있습니까? 왜 그렇게 잘 작동하지 않거나 간단한 알고리즘을 생성하지 못하는 이유가 있습니까?

나는 이것이 내가 잘 아는 도메인이 아니라고 고백 할 것이다. 그래서 이것을 한 알의 소금으로 가져 가라.

우선, 제안하는 것이 그렇게 간단한 알고리즘을 생성하지는 않습니다. 새로운 를 계산하기 위해 평균 또는 분산과 같은 단일 예상 값을 계산할 필요는 없지만 전체 함수의 예상 값 이것은 계산이 어렵고 일부 실제 를 근사해야합니다 (예 : 히스토그램 근사값을 찾을 수 있음)$q^\star_i$$q^\star$$\tilde q$

그러나 를 작은 파라 메트릭 패밀리 로 제한 하려는 경우 확률 적 그라디언트 디센트를 사용하여 최상의 모수 값을 찾는 것이 좋습니다. 확률 적 검색을 통한 변형 베이지안 추론, 2012, Paisley, Blei, Jordan ). 이들이 계산하는 기울기는 여러분이 작성한 것과 매우 유사합니다. 현재 최적화하지 않은 모든 근사값에서 샘플링합니다.$q_i$

제안하는 것은 그렇게 간단하지는 않지만 최근에 제안 된 실제 방법과 매우 유사합니다.