HMM 피팅에서 MLE과 Baum Welch의 차이점

에서 이 인기있는 질문 , 높은 upvoted 대답은 MLE와 바움 웰치는 HMM 피팅에서 분리합니다.

훈련 문제의 경우 MLE (최대 우도 추정), Viterbi 훈련 (Viterbi 디코딩과 혼동하지 마십시오), Baum Welch = 순방향 알고리즘의 3 가지 알고리즘을 사용할 수 있습니다.

그러나 Wikipedia 에서는

Baum–Welch 알고리즘은 잘 알려진 EM 알고리즘을 사용하여 모수의 최대 가능성 추정치를 찾습니다.

그렇다면 MLE과 Baum-Welch 알고리즘의 관계는 무엇입니까?

내 시도 : Baum-Welch 알고리즘의 목표는 가능성을 극대화하는 것이지만 최적화를 해결하기 위해 특수 알고리즘 (EM)을 사용합니다. 그래디언트 괜찮은 등 다른 방법을 사용하여 가능성을 최대화 할 수 있습니다. 이것이 답이 두 알고리즘을 분리시키는 이유입니다.

내가 옳고 누구든지 명확히 할 수 있습니까?

제공 한 질문 링크에서 답변 중 하나 (Masterfool 작성)를 참조하십시오.

Morat의 대답은 한 가지 점에서 거짓입니다. Baum-Welch는 HMM의 매개 변수를 훈련시키는 데 사용되는 Expectation-Maximization 알고리즘입니다. 각 반복 중에 순방향 알고리즘을 사용합니다. 정방향 및 역방향 알고리즘은 순방향 및 역방향 알고리즘의 조합입니다. 하나의 순방향 패스, 하나의 역방향 패스.

그리고 저는 PierreE의 대답에 동의합니다. Baum-Welch 알고리즘은 HHM의 최대 가능성을 해결하는 데 사용됩니다. 상태가 알려지면 (감독되고 레이블이 붙은 순서) MLE를 최대화하는 다른 방법이 사용됩니다 (훈련 데이터에서 관찰 된 각 방출 및 전이의 빈도를 세는 것만 으로도 Franck Dernoncourt 가 제공 한 슬라이드 참조 ).

HMM에 대한 MLE 설정에서는 가능성 (또는 로그 가능성)에 닫힌 형태의 솔루션이 없으며 다음과 같이 반복적으로 해결해야하기 때문에 그라디언트 디센트를 사용할 수 있다고 생각하지 않습니다. 혼합 모델을 만들면 EM으로 돌아갑니다. (자세한 내용은 주교, 패턴 인식 서적, 13.2.1 장 Pg614 참조)

그렇다면 MLE과 Baum-Welch 알고리즘의 관계는 무엇입니까?

EM (Expectation maximization) 알고리즘이보다 일반적이며 Baum-Welch 알고리즘은이를 단순히 인스턴스화하고 EM은 최대 우도 (ML)를위한 반복 알고리즘입니다. 그런 다음 Baum-Welch 알고리즘은 최대 가능성에 대한 반복 알고리즘입니다.

최대 가능성 추정 (자주 주의적 접근)을위한 일반적으로 3 가지 최적화 알고리즘 이있다 : 1) 경사 하강; 2) Markov Chain Monte Carlo; 3) 기대 극대화.

이 질문은 몇 달 동안 여기에 있었지만이 답변은 David Batista의 의견을 보완하는 새로운 독자에게 도움이 될 수 있습니다.

Baulm-Welch 알고리즘 (BM)은 상태를 알 수 없거나 숨길 때 HMM을 훈련시키기 위해 MLE (Maximum Likelihood Estimation)을 해결하기위한 기대 최대화 알고리즘입니다 (비지도 교육).

그러나 상태를 알고있는 경우 MLE 방법 (BM은 아님)을 사용하여 모델을 감독 방식으로 쌍 데이터 / 상태에 맞출 수 있습니다.