이전 상태에 따라서 만 마르코프 프로세스

누군가가 내 이해를 확인하거나 뭔가 빠졌는지 확인하고 싶습니다.

마르코프 프로세스의 정의에 따르면 다음 단계는 현재 상태에만 의존하며 과거 상태에는 의존하지 않습니다. 우리가 a, b, c, d의 상태 공간을 가지고 있고 a-> b-> c-> d로 간다고 가정 해 봅시다. 즉, d 로의 전환은 우리가 c에 있다는 사실에만 의존 할 수 있음을 의미합니다.

그러나이 제한을 "복잡하게"더 복잡한 모델로 만들 수 있다는 것이 사실입니까? 즉, 상태 공간이 이제 aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd 인 경우 새 상태 공간이 이전 상태를 현재 상태와 결합하면 위의 전이는 * a-> ab-> bc-> cd가되므로 cd 로의 전이 (이전 모델에서 d와 동일)는 이제 다음 상태에 "종속"됩니다. 다르게 모델링 된 경우 이전 상태입니다 (아래에서 하위 상태라고 함).

"이전 상태 (하위 상태)에 따라"(하위 상태가 더 이상 실제 상태가 아니기 때문에 기술적으로 새 모델에 속하지 않음을 알 수 있음)으로 만들 수 있다는 것이 맞습니까? 내가했던 것처럼 주 공간? 따라서 사실상 다수의 이전 하위 상태에 의존 할 수있는 마르코프 프로세스를 만들 수 있습니다.

기술적으로, 두 프로세스 모두 마르코프 체인입니다. 차이점은 첫 번째 것은 1 차 마르코프 체인이고 두 번째는 2 차 마르코프 체인입니다. 예, 상태 공간 정의를 적절히 변경하여 2 차 마르코프 체인을 1 차 마르코프 체인으로 변환 할 수 있습니다. 예를 통해 설명하겠습니다.

날씨를 확률 론적 과정으로 모델링하고 어떤 날에 날씨가 비가 오거나, 맑거나, 흐리고 있다고 가정합니다. 보자 특정 날짜에 할 날씨를 우리는 귀하가 가능한 상태를 나타내는 수 있도록 R (비가 용), S (맑은 하늘)에 대한 C (흐림)입니다.$W_t$$R$$S$$C$

퍼스트 오더 마코프 체인

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

2 차 마르코프 체인

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

2 차 마르코프 체인은 상태 공간을 다음과 같이 재정의하기 위해 1 차 마르코프 체인으로 변환 될 수있다. 밝히다:

2 일 연속 날씨로 Z t - 1 , $Z_{t-1,t}$

: 즉, 상태 공간은 다음 값 중 하나를 취할 수 , R C , R S , C , R , C C , C S , S , R , S C 및 S S를 . 이 재정의 된 상태 공간에는 다음이 있습니다.$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

위의 내용은 재정의 된 상태 공간의 1 차 마르코프 체인입니다. 2 차 마르코프 체인과의 한 가지 차이점은 재정의 된 마르코프 체인을 두 가지 초기 시작 상태로 지정해야한다는 것입니다. 즉, 체인은 1 일과 2 일의 날씨에 대한 몇 가지 가정으로 시작해야합니다.

마르코프 프로세스의 정의에 따르면 다음 단계는 현재 상태에만 의존하며 과거 상태에는 의존하지 않습니다.

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

고차 다변량 Markov 체인과 같은 최신 논문 과이 분야가 조용히 빠르게 발전함에 따라 적용 분야를 살펴볼 수 있습니다 .