«variational-bayes» 태그된 질문

VAE (variational autoencoders) 의 매개 변수화 트릭 은 어떻게 작동합니까? 기본 수학을 단순화하지 않고 직관적이고 쉬운 설명이 있습니까? 그리고 왜 '트릭'이 필요한가?

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

나는 Gibbs 샘플링, Metropolis Hastings 등과 같은 다양한 MCMC의 풍미를 포함하여 VI와 MCMC에 대한 일반적인 아이디어를 얻는다고 생각 합니다 . 이 논문은 두 가지 방법에 대한 훌륭한 설명을 제공합니다. 다음과 같은 질문이 있습니다. 베이지안 추론을하려면 왜 다른 방법을 선택해야합니까? 각 방법의 장단점은 무엇입니까? 나는 이것이 매우 광범위한 질문이라는 것을 이해하지만 …

36 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

Variational Bayes 방법이 EM 알고리즘의 일반화라는 것을 읽었습니다. 실제로 알고리즘의 반복 부분은 매우 유사합니다. EM 알고리즘이 Variational Bayes의 특수 버전인지 테스트하기 위해 다음을 시도했습니다. 는 데이터이고 X 는 잠재 변수의 모음이며 Θ 는 매개 변수입니다. 변분 베이 즈에서 우리는 근사 할 수 있도록이되도록 P ( X , Θ | Y …

26 bayesian  expectation-maximization  variational-bayes 

VAE에서 보았던 거의 모든 코드 예제에서 손실 함수는 다음과 같이 정의됩니다 (이것은 텐서 흐름 코드이지만 테 아노, 토치 등에서도 비슷합니다. 또한 convnet 용이지만 너무 관련이 없습니다. , 합계가 인수되는 축에만 영향을 미칩니다) : # latent space loss. KL divergence between latent space distribution and unit gaussian, for each batch. # …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

당 이 와 이 대답 autoencoders는 차원 감소를 위해 신경 네트워크를 사용하는 기술이 될 것으로 보인다. 또한 가변 자동 인코더 ( "기존"자동 인코더에 대한 주요 차이점 / 이점)와이 알고리즘이 사용되는 주요 학습 작업이 무엇인지 알고 싶습니다.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

나는 가변 자동 인코더와 일반 (결정적) 자동 인코더의 기본 구조와 그 뒤에있는 수학을 이해하지만 언제 어떤 유형의 자동 인코더를 다른 유형보다 선호합니까? 내가 생각할 수있는 것은 가변 오토 인코더의 잠복 변수의 사전 분포가 잠복 변수를 샘플링 한 다음 새로운 이미지를 구성 할 수 있다는 것입니다. 결정적 오토 인코더에 비해 가변 …

19 deep-learning  autoencoders  variational-bayes 

Carl Doersch의 Variational Autoencoders에 대한 이 자습서를 공부하고 있습니다. 두 번째 페이지에는 다음과 같이 표시됩니다. 가장 인기있는 프레임 워크 중 하나는이 자습서의 주제 인 Variational Autoencoder [1, 3]입니다. 이 모델의 가정은 약하고 역 전파를 통해 훈련이 빠릅니다. VAE는 근사값을 계산하지만이 근사값으로 인한 오차는 고용량 모델을 감안할 때 매우 작습니다 . …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

베이지안 추론에 대해 읽었으며 "마진 우도의 수치 적분이 너무 비싸다"라는 문구를 발견했습니다. 나는 수학에 대한 배경 지식이 없으며 여기서 비싼 것이 무엇을 정확히 의미 하는지 궁금 했습니다. 계산 능력 측면에서 보입니까, 아니면 더 많은 것이 있습니까?

12 bayesian  numerical-integration  variational-bayes  approximate-inference 

변동 추론에 대한 나의 (매우 겸손한) 이해 를 위해, 다음을 최적화 하는 분포 를 찾아서 미지의 분포 를 근사하려고합니다 .pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} 변형 추론을 이해하는 데 시간을 투자 할 때마다이 공식에 계속 도달하고 도움이 될 수는 없지만 요점을 놓친 것 같습니다. 을 계산하려면 를 알아야 …

12 variational-bayes 

자동 인코딩 변형 베이 와 딥 생성 모델에 대한 확률 적 역 전파 의 차이점은 무엇입니까 ? 두 방법의 추론이 동일한 결과를 초래합니까? 두 저자 그룹이 서로 인용하고 있음에도 불구하고 두 방법 사이의 명시 적 비교를 알지 못합니다.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

VAE를 구현하고 있으며 단순화 된 단 변량 가우시안 KL 발산에 대해 온라인에서 두 가지 다른 구현을 발견했습니다. 당 원래 발산 여기가 있다 이전의 단위 가우스 인 것으로 가정하면 (예 : 및 ) 단순화됩니다. 여기에 혼란이 있습니다. 위의 구현으로 몇 가지 모호한 github repos를 찾았지만 더 일반적으로 사용되는 것은 다음과 같습니다.케이엘L …

10 inference  kullback-leibler  autoencoders  variational-bayes 

변형 베이에 대해 읽고 있는데, 이해할 때 를 사용하여 ( 는 모델의 잠재 변수이고 는 관측 된 데이터 임) 를 근사한다는 아이디어가 나옵니다. , 가정을하면 해당 으로 factorizes 잠재 변수들의 서브 세트이다. 그러면 최적 인자 는 다음과 같습니다. p ( z∣ x )p(z∣x)p(z\mid x)지zz엑스xx큐( z)q(z)q(z)큐qq큐나는(지나는)qi(zi)q_i(z_i)지나는ziz_i큐나는(지나는)qi(zi)q_i(z_i)큐※나는(지나는) = ⟨ LNp ( x …

10 variational-bayes 

그라디언트 기반 최적화와 유전자 알고리즘의 조합을 사용하여 로그 최대의 전역 최대 값을 찾아 MAP 추정을 강력하게 수행 할 수있는 고차원 추론 문제 (약 2000 개의 모델 매개 변수)를 연구하고 있습니다. MAP 추정값을 찾는 것 외에도 모델 매개 변수에 대한 불확실성을 추정 할 수 있기를 바랍니다. 우리는 매개 변수와 관련하여 로그 …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

이 백서에 따라 확률 변동 추정과 함께 가우시안 혼합 모델을 구현하려고합니다 . 이것은 가우스 혼합의 pgm입니다. 논문에 따르면, 확률 변동 추정의 전체 알고리즘은 다음과 같습니다. 그리고 나는 여전히 GMM으로 확장하는 방법이 매우 혼란 스럽습니다. 첫째, 로컬 변형 매개 변수는 이고 다른 매개 변수는 모두 전역 매개 변수 라고 생각했습니다 . …

9 machine-learning  bayesian  clustering  gaussian-mixture  variational-bayes