나는 최대 엔트로피 마르코프 모델 (MEMM)의 개념에 흥미가 있으며, 그것을 품사 (POS) 태거에 사용할 생각입니다. 현재는 기존의 최대 엔트로피 (ME) 분류기를 사용하여 각 개별 단어에 태그를 지정하고 있습니다. 이것은 앞의 두 태그를 포함하여 많은 기능을 사용합니다.
MEMM은 Viterbi 알고리즘을 사용하여 Markov Chain을 통한 최적의 경로를 찾습니다 (즉, 각 단어에 대한 개별적인 최적 값 대신 문장에 대한 완전한 최적의 태그 세트를 찾습니다). 그것에 대해 읽으면, 이것은 훌륭한 우아함과 단순함을 가진 것으로 보입니다. 그러나 각 단계는 이전 단계의 "결과"에만 의존합니다 (즉, Markov Chain에 따라).
그러나 내 ME 모델은 앞의 두 단계 (즉, 앞의 두 단어의 태그)를 사용합니다. 가능한 두 가지 접근 방식이 있습니다.
일반적인 Viterbi 구현과 마찬가지로 하나의 이전 단계에 따라 저장된 일련의 경로를 사용하십시오. 저의 ME 분류기는이 기능과 이전에 '고정 된'단계를 사용하여 (이미 고려중인 경로로 고정) 전달 함수를 생성합니다.
또는 두 단계를 추적하는 알고리즘을 작성합니다. 각 전송 함수 (예 : ME 모델)가 한 단계가 아닌 앞의 두 단계에 의존하기 때문에 이것은 더 복잡하고 더 이상 진정한 마르코프 모델이 아닙니다.
더 복잡하지만 두 번째가 더 정확할 것입니다.
아직 문헌 검색 중에 이에 대한 예를 찾지 못했습니다. 시도 했습니까? 2 단계 접근 방식이 전체 정확도를 개선 했습니까?