EM 알고리즘의 빠른 대안

잠재 변수 (특히 pLSA)가있는 모델을 학습하기위한 EM 알고리즘에 대한 빠른 대안이 있습니까? 속도를 높이기 위해 정밀도를 희생해도 괜찮습니다.

뉴턴-라프 슨 알고리즘이 종종 사용될 수있다. pSLA에 익숙하지는 않지만 잠재 클래스 모델에 Newton-Raphson 알고리즘을 사용하는 것이 일반적입니다. Newton-Raphson 알고리즘은 EM보다 열악한 초기 값으로 인해 다소 어려움을 겪고 있으므로 한 가지 전략은 먼저 EM의 몇 가지 반복 (예 : 20)을 사용한 다음 Newton-Raphson 알고리즘으로 전환하는 것입니다. 내가 성공한 알고리즘 중 하나는 Zhu, Ciyou, Richard H. Byrd, Peihuang Lu 및 Jorge Nocedal (1997), "Algorithm 778 : L-BFGS-B : 대규모 바운드를위한 포트란 서브 루틴 제한적 최적화, "TOMS (Athematics on Mathematical Software) 아카이브, 23 (4), 550-60.

EM 알고리즘과 매우 유사한 MM 알고리즘 은 일반적으로 목적 함수를 주요 화하거나 축소 할 때 데이터 손실이 아닌 볼록성을 활용합니다. 그러나 특정 문제에 MM 알고리즘이 적용 가능한지 확인해야합니다.

LDA의 경우 "온라인 LDA"는 표준 EM (http://www.cs.princeton.edu/~blei/papers/HoffmanBleiBach2010b.pdf)과 같은 배치 방법보다 빠른 대안입니다.

David Blei는 그의 페이지에서 소프트웨어를 제공합니다 : http://www.cs.princeton.edu/~blei/topicmodeling.html

지금까지 언급되지 않은 또 다른 대안은 변형 근사치입니다. 이러한 알고리즘은 모든 경우에 정확히 EM 알고리즘이 아니지만 일부 경우 EM 알고리즘은 베이지안 평균 필드 변형 알고리즘의 경우를 제한합니다. 한계는 하이퍼 파라미터의 한계와 관련이 있으며, 한계 값을 선택하면 일부 경우 EM 알고리즘이 제공됩니다.

두 경우 모두 (EM, VB 또는 MM 알고리즘) 작업 속도를 높이는 두 가지 일반적인 방법이 있습니다.

(1) - dim 문제에서 변량 문제 까지 문제의 차원을 줄 입니다. 이것들은 일반적으로 좌표 하강 알고리즘이지만 이러한 유형의 속도 향상을 수행하는 MM 알고리즘을 보았습니다.$p$$p$

(2) EM (또는 다른 유형) 알고리즘의 수렴 속도 향상 코멘트에서 JohnRos는 Aitken 가속에 대해 언급했습니다. 이것은 수치 분석 세계에서 나온 것이지만 McLachlan과 Krishnan의 EM 책에서 논의됩니다.

내가 놓친 다른 사람들이있을 수 있지만 이것들은 두 가지 큰 것 같습니다.