숨겨진 마르코프 모델 훈련, 여러 훈련 인스턴스

이 튜토리얼 http://cs229.stanford.edu/section/cs229-hmm.pdf 에 따라 개별 HMM을 구현했습니다 .

이 튜토리얼과 다른 사람들은 항상 관찰 순서가 주어진 HMM 훈련에 대해 이야기합니다.

교육 시퀀스가 ​​여러 개인 경우 어떻게됩니까? 순차적으로 모델을 훈련시켜야합니까?

또 다른 옵션은 시퀀스를 하나로 연결하고 학습하는 것입니다.하지만 한 시퀀스의 끝에서 다음 시퀀스의 시작으로 전환하는 상태가됩니다.

훈련의 각 반복을 다른 순서로 연결하거나 실행하는 것이 옳은 것은 아닙니다. 올바른 접근 방식에는 몇 가지 설명이 필요합니다.

하나는 보통 EM 알고리즘을 사용하여 HMM을 훈련시킵니다.. 이것은 여러 반복으로 구성됩니다. 각 반복에는 하나의 "추정"및 하나의 "최대화"단계가 있습니다. "최대화"단계에서는 가능성 측정이 최대화되도록 각 관측 벡터 x를 모델의 상태 s와 정렬합니다. "추정"단계에서 각 상태 s에 대해 (a) s에 정렬 된 x 벡터에 대한 통계 모델의 매개 변수 및 (b) 상태 전이 확률을 추정합니다. 다음 반복에서는 최대화 된 단계가 업데이트 된 통계 모델 등을 사용하여 다시 실행됩니다. 프로세스가 설정된 횟수만큼 반복되거나 가능성 측정이 크게 증가하지 않는 경우 (즉, 모델이 안정적인 솔루션으로 수렴). 마지막으로 (적어도 음성 인식에서) HMM은 일반적으로 지정된 "시작"을 갖습니다.

따라서 여러 훈련 시퀀스가있는 경우 추정 단계에서 각 시퀀스를 실행하여 초기 관측 벡터가 초기 상태와 정렬되도록해야합니다. 이렇게하면 해당 초기 상태에 대한 통계가 모든 관측 시퀀스에 대한 첫 관측에서 수집되며 일반적으로 관측 벡터는 각 시퀀스에서 가장 가능성이 높은 상태에 정렬됩니다. 훈련을 위해 모든 시퀀스가 ​​제공된 후에 만 최대화 단계 (및 이후 반복) 를 수행 합니다. 다음 반복에서는 정확히 같은 일을 할 것입니다.

각 관측 시퀀스의 시작을 초기 상태로 정렬하면 한 시퀀스의 끝과 다음의 시작 사이의 전환을 잘못 모델링하는 시퀀스를 연결하는 문제를 피할 수 있습니다. 또한 각 반복에서 모든 시퀀스를 사용하면 응답자가 언급 한대로 각 반복마다 다른 시퀀스를 제공하지 않아도 수렴이 보장되지 않습니다.

Lawrence Rabiner는 이 튜토리얼에서 IEEE 77 의 수학적으로 잘 알려진 접근 방식을 설명합니다 . 이 튜토리얼은 Rabiner와 Juang 의 '음성 인식 기초 '책의 6 장이기도합니다 .

RIA Davis et. 알. 이 백서 에서 추가 제안 사항을 제공합니다 .

나는 수학을 철저히 살펴 보지 않았지만, 나에게 Rabiner의 접근법은 가장 유망한 것으로 들리지만 Davis의 접근법은 수학 기초가 부족한 것 같습니다.

수학을 따르는 경우 추가 훈련 예제를 추가하면 가능성을 계산하는 방식이 다시 계산됩니다. 차원을 합산하는 대신 훈련 예제를 합산합니다.

한 모델을 다른 모델로 학습하는 경우 EM이 모든 교육 예제에 대해 적용 범위를 보장 할 것이라는 보장이 없으며 추정치가 잘못 될 수 있습니다.

다음은 Kalman Filter (가우시안 확률이있는 HMM)에 대해 코드를 수정하여 더 많은 예제를 지원할 수 있도록 코드를 수정하는 방법을 보여주는 논문입니다.

http://ntp-0.cs.ucl.ac.uk/staff/S.Prince/4C75/WellingKalmanFilter.pdf

또한 HMM에 대한 강의도 있지만 그 논리는 매우 간단합니다.

이것은 Bittenus (위) 가 참조한 RIA Davis의 논문에 대한 주석입니다 . Bittenus에 동의해야합니다.이 백서에서 제안한 기술에 대한 수학적 근거는 많지 않습니다. 그것은 경험적 비교에 가깝습니다.

이 문서에서는 HMM이 제한된 토폴로지 (피드 포워드) 인 경우 만 고려합니다. (제 경우에는 표준 토폴로지가 있으며 Baum-Welch로 훈련 된 모든 모델의 비가 중 평균화를 구현하여 가장 일관된 결과를 찾았습니다.이 방법은 논문에서 언급되었지만 한계 결과 만 인용했습니다).

또 다른 유형의 모델 평균 훈련은 저널 기사에서 RIA Davis에 의해 자세히 설명되어 있으며 Baum-Welch 대신 Vitterbi Training을 사용하여 훈련 및 테스트 및 조건 번호 기준을 사용하는 HMM 앙상블 훈련 알고리즘을 비교하고 평가 합니다. 그러나이 백서는 제한된 피드 포워드 토폴로지가 동일한 HMM 만 살펴 봅니다. (이 방법을 탐색 할 계획이며이 게시물을 내 결과로 업데이트 할 것입니다.)