마르코프 체인을 돌이킬 수없는 방법은 무엇입니까?

나는 마르코프 체인 속성을 이해할 수없는 이해하는 데 어려움이 있습니다.

Irreducible은 확률 적 프로세스가 "모든 상태에서 어떤 상태로든 갈 수 있음"을 의미한다고합니다.

그러나 그것이 상태에서 벗어날 수 있는지 여부를 정의하는 것 $i$ 상태로 $j$또는 갈 수 없습니까?

---

위키 피 디아 페이지 공식화을 제공합니다 :

상태 $j$인 접근 (작성$i\rightarrow j$) 상태에서 $i$정수가 존재하는 경우 $n_{ij}>0$ 성

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

그렇다면 의사 소통 은$i\rightarrow j$ 과 $j \rightarrow i$.

이러한 비 환원성에서 어떻게 든 다음과 같습니다.

다음은 전이 행렬에 대한 세 가지 예입니다. 첫 번째는 환원 가능한 경우에 대한 것이고 두 번째는 환원 불가능한 경우에 대한 것입니다.

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ 에 대한 $P_1$예를 들어, 상태 3 또는 4에 있으면 상태 1 및 2에 대해 동일하게 유지됩니다. 예를 들어 상태 1에서 상태 3 또는 4로 이동할 수있는 방법이 없습니다.

에 대한 $P_2$, 상태 1에서 3까지 모든 상태에 도달 할 수 있지만 상태 4에 있으면 상태가 유지됩니다.

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$ 이 예의 경우 한 단계 만은 아니더라도 모든 상태에서 시작할 수 있으며 다른 상태에 도달 할 수 있습니다.

상태 $j$ 상태에서 접근 할 수 있다고합니다 $i$ (보통 $i \to j$) 존재하는 경우 $n\geq 0$ 그런 :

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ 즉, 상태에서 벗어날 수 있습니다 $i$ 상태로 $j$ 에 $n$ 확률로 단계 $p^n_{ij}$.

둘 다 $i\to j$ 과 $j\to i$ 그런 다음 상태를 유지 $i$ 과 $j$ 의사 소통 (보통 $i\leftrightarrow j$). 따라서 각 두 상태가 통신하는 경우 Markov 체인을 되돌릴 수 없습니다.

허락하다 $i$ 과 $j$Markov Chain의 두 가지 상태가됩니다. 프로세스가 상태에서 벗어날 가능성이 긍정적 인 경우$i$ 상태로 $j$, 걸음 수에 관계없이 (예 : 1, 2, 3)$\cdots$), 우리는 그 상태를 말합니다 $j$ 주에서 접근 가능 $i$.

표기법으로, 우리는 이것을 다음과 같이 표현합니다. $i\rightarrow j$. 확률 측면에서 다음과 같이 표현됩니다.$j$ 주에서 접근 가능 $i$정수가있는 경우 $m>0$ 그런 $p_{ij}^{(m)}>0$.

마찬가지로, 우리는 $j\rightarrow i$정수가있는 경우 $n>0$ 그런 $p_{ji}^{(n)}>0$.

이제 둘 다 $i\rightarrow j$ 과 $j\rightarrow i$ 사실이라면 우리는 $i$ 과 $j$ 서로 통신하고 표기법으로 표현됩니다. $i \leftrightarrow j$. 확률 측면에서 이것은 두 개의 정수가 있음을 의미합니다.$m>0,\;\; n>0$ 그런 $p_{ij}^{(m)}>0$ 과 $p_{ji}^{(n)}>0$.

Markov 체인의 모든 상태가 하나의 닫힌 통신 클래스에 속하는 경우 체인을 돌이킬 수없는 Markov 체인 이라고합니다 . 불환 성은 체인의 속성입니다.

돌이킬 수없는 Markov Chain에서 프로세스는 필요한 단계 수에 관계없이 모든 상태에서 모든 상태로 이동할 수 있습니다 .

기존 답변 중 일부가 잘못된 것 같습니다.

J. Medhi (79, 개정판 4)에 의한 확률 적 프로세스 에서 인용 된 바와 같이 , Markov 체인은 상태 공간 이외의 적절한 '닫힌'하위 집합을 포함하지 않으면 되돌릴 수 없습니다.

따라서 전이 확률 행렬에 해당 상태와는 다른 다른 상태에 '도달'(또는 액세스) 할 수없는 상태의 하위 집합이있는 경우 Markov 체인을 줄일 수 있습니다. 그렇지 않으면 Markov 체인은 되돌릴 수 없습니다.

경고의 첫 번째 단어 : 당신이 그렇게해야 할 심각한 이유가 없다면 매트릭스를 보지 마십시오. 내가 생각할 수있는 유일한 것은 실수로 입력 한 숫자를 확인하거나 교과서에서 읽는 것입니다.

만약 $P$ 전이 행렬입니다 $\exp(P)$. 모든 항목이 0이 아닌 경우 행렬을 되돌릴 수 없습니다. 그렇지 않으면 환원 가능합니다. 만약$P$ 너무 크다 $P^n$ 와 $n$당신이 할 수있는 한 큰. 동일한 테스트, 약간 덜 정확합니다.

부적합성 의미 : 유한 한 단계만으로 어떤 주에서 다른 주로 갈 수 있습니다.

Christoph Hanck의 예에서 $P_3$, 상태 1에서 상태 6으로 직접 갈 수는 없지만 1-> 2-> 6으로 갈 수 있습니다.