"변형"이란 무엇입니까?

"변이"의 사용은 항상 변이 추론을 통한 최적화를 의미합니까?

예 :

• "가변 자동 인코더"
• "가변 베이지안 방법"
• "변형 재 정규화 그룹"

그것은 변이 추론을 사용하는 것을 의미합니다 (적어도 처음 두 개는)

요컨대, 확률 밀도가 복잡 할 때 (따라서 MLE가 어려운 경우) 최대 가능성을 추정하는 방법입니다.

ELBO (Evidence Lower Bound)를 ML의 프록시로 사용합니다.

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

여기서 는 숨겨진 변수에 대한 간단한 분포 ( 로 표시 )-예를 들어 변형 자동 인코더는 인코더 출력에 정규 분포를 사용합니다.$q$$Z$

'variational'이라는 이름은 ELBO를 최적화 하는 분포 를 검색한다는 사실에서 비롯된 것으로 ,이 설정은 기능에 대한 최적화를 연구하는 필드 (예 : 패밀리가 주어진 경우와 같은 문제)와 같은 계산법과 유사합니다 . 두 점 사이의 2D 곡선의 길이는 가장 작은 길이를 찾습니다).$q$

David Blei의 변형 추론 에 대한 유용한 자습서 가 있습니다. 자세한 설명이 필요한지 확인할 수 있습니다.

편집하다:

실제로 내가 묘사 한 것은 VI의 한 유형입니다. 일반적으로 다른 발산을 사용할 수 있습니다 (내가 설명한 것은 KL 발산 사용에 해당합니다 ). 자세한 내용은 이 문서 섹션 5.2 (대체 분기가있는 VI) 를 참조하십시오 .$KL(q, p)$