두 개의 흡수 마르코프 체인이 주어지면, 하나가 다른 것보다 먼저 종결 될 확률은 얼마입니까?

나는 하나의 흡수 상태와 알려진 시작 위치를 가진 두 개의 다른 Markov 체인을 가지고 있습니다. 체인 1이 체인 2보다 적은 단계로 흡수 상태에 도달 할 확률을 결정하고 싶습니다.

나는 n 단계 후에 특정 체인에서 흡수 상태에 도달 할 확률을 계산할 수 있다고 생각합니다. $P$ 이후 흡수 될 확률 $n$ 단계는 $P^n_{ij}$ 어디 $i$ 시작 상태이며 $j$ 흡수 상태입니다.

그래도 여기서 어디로 가야할지 모르겠습니다. 필자가 본 유사한 문제는 주사위 (예를 들어, 합이 8의 합보다 7의 합을 구는 것)와 관련이 있지만, 특정 합을 구르는 확률은 일정하고 지금까지 취한 단계 수와 무관하기 때문에 해결하기가 더 쉽습니다.

probability markov-chain transition-matrix

— 제프
소스

체인을 병렬로 실행하십시오. 결과 제품 체인에서 3 가지 흡수 상태를 정의하십시오.

첫 번째 사슬은 흡수 상태에 도달하지만 두 번째 사슬은 흡수되지 않습니다.
두 번째 체인은 흡수 상태에 도달하지만 첫 번째 체인은 흡수되지 않습니다.
두 체인 모두 동시에 흡수 상태에 도달합니다.

제품 체인에서이 세 가지 상태의 제한 확률은 관심의 기회를 제공합니다.

이 솔루션에는 일부 간단한 구조가 포함됩니다. 질문에서와 같이 $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ 체인의 전이 행렬 $\mathcal P$ . 체인이 상태 일 때 $i$ , $P_{ij}$ 상태로의 전환 확률을 제공 $j$ . 흡수 상태 확률로 그 자체로 전환 할 $1$ .

어떤 주 $i$ 줄을 대체 할 때 흡수 될 수 있습니다 $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ 지표 벡터에 의한 것 $(0,0,\ldots,0,1,0,\ldots,0)$ 와 $1$ 위치에 $i$ .
어떤 세트 $A$ 새로운 사슬을 만들어 흡수 상태의 합병 $\mathcal{P}/A$ 누구의 주가 $\{i\,|\, i\notin A\}\cup \{A\}$ . 전이 행렬은

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
이것은 열을 합산하는 것입니다. $\mathbb{P}$ 에 해당하는 $A$ 행을 교체하면 $A$ 자체로 전환하는 단일 행으로.
두 체인 의 제품 $\mathcal{P}$ 주에서 $S_P$ 과 $\mathcal{Q}$ 주에서 $S_Q$ 전이 행렬과 함께 $\mathbb{P}$ 과 $\mathbb{Q}$ 각각 국가의 마르코프 체인입니다 $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$ 전이 행렬로

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
실제로, 제품 체인은 두 체인을 병렬로 실행하여 각각의 위치를 개별적으로 추적하고 독립적으로 전환합니다.

간단한 예가 이러한 구성을 명확히 할 수 있습니다. 폴리가 기회를 가지고 동전을 뒤집고 있다고 가정하자 $p$ 착륙장 그녀는 머리를 관찰 할 때까지 그렇게 할 계획입니다. 동전 뒤집기 과정의 상태는 $S_P = \{\text{T},\text{H}\}$ 가장 최근 플립 결과를 나타냅니다. $\text{T}$ 꼬리를 위해 $\text{H}$ 머리를 위해. 폴리 (Poly)는 선두에 서서 계획함으로써 첫 번째 시공을 $\text H$ 흡수 상태. 결과 전이 행렬은

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

그것은 임의의 상태에서 시작 $(1-p,p)$ 첫 번째 던지기에 의해 주어진.

폴리와 함께, 퀸시는 공정한 동전을 던질 것입니다. 그는 두 개의 머리를 연속으로보고 난 후에 멈출 계획이다. 따라서 Markov 체인은 현재 결과뿐만 아니라 이전 결과를 추적해야합니다. 두 개의 머리와 두 개의 꼬리의 네 가지 조합이 있습니다. $\text{TH}$ 예를 들어 첫 번째 문자는 이전 결과이고 두 번째 문자는 현재 결과입니다. Quincy는 건설 (1)을 적용하여 $\text{HH}$ 흡수 상태. 그렇게 한 후, 그는 실제로 네 가지 상태가 필요하지 않다는 것을 알고 있습니다. 그는 체인을 세 가지 상태로 단순화 할 수 있습니다. $\text{T}$ 현재 결과가 꼬리임을 의미합니다. $\text{H}$ 현재 결과가 머리임을 의미하며 $\text{X}$ 마지막 두 결과는 두 가지 모두를 의미합니다. 이것은 흡수 상태입니다. 전이 행렬은

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

제품 체인은 6 가지 상태에서 실행됩니다. $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ . 전이 매트릭스 A는 텐서 생성물 의 $\mathbb{P}$ 과 $\mathbb{Q}$ 쉽게 계산됩니다. 예를 들어 $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ 폴리가 $\text T$ 에 $\text T$ 그리고 동시에 (그리고 독립적으로) Quincy는 $\text T$ 에 $\text H$ . 전자는 기회가 $1-p$ 후자는 $1/2$ . 체인이 독립적으로 실행되기 때문에 그 가능성은 배가되어 $(1-p)/2$ . 전체 전이 행렬은

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

두 번째 행렬에 해당하는 블록이있는 블록 행렬 형식입니다. $\mathbb Q$ :

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

폴리와 퀸시는 누가 먼저 목표를 달성 할 수 있는지 경쟁합니다. 승자가 처음으로 전환 될 때마다 승자가 폴리가됩니다. $(\text{H},\text{*})$ 어디 $\text{*}$ 아니다 $\text X$ ; 승자가 처음 전환 될 때마다 우승자가 Quincy가됩니다. $(\text{T},\text{X})$ ; 그 중 하나가 발생하기 전에 전환이 이루어지면 $(\text{H},\text{X})$ 결과는 추첨이됩니다. 추적하기 위해, 우리는 상태를 만들 것입니다 $(\text{H},\text{T})$ 과 $(\text{H},\text{H})$ (건설 (1)을 통해) 흡수 한 다음 (건설 (2)를 통해) 병합하십시오. 상태별로 정렬 된 결과 전이 행렬 $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ 이다

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

폴리와 퀸시의 동시 첫 투구 결과는 주가 될 것이다 $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ 확률로 $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$ , 각각 : 체인을 시작하는 초기 상태입니다.

한도에서 $n\to \infty$ ,

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

따라서 세 가지 흡수 상태의 상대 확률 $(T,X), \{(H,T), (H,H)\}, (H,X)$ (퀸시 승리, 폴리 승리, 대표) $(1-p)^2:p(5-p):p(1-p)$ .

의 기능으로 $p$ (폴리의 던지기 중 하나가 머리가 될 확률), 빨간색 곡선은 폴리의 우승 확률을 나타내고, 파란색 곡선은 퀸시의 우승 확률을 나타내며, 금색 곡선은 무승부 확률을 나타냅니다.

— 우버
소스

아주 좋은 예입니다. 감사합니다. 나는 여전히 자신을 위해 세부 사항을 연구하고 있습니다. 단지 질문 : 여기에서 우리는 두 사건 (Polly와 Quincy throws)이 동시에 일어나고 있다고 가정했습니다. 순차적으로 만들거나 다음에 던질 때마다 무작위로 선택하면 얼마나 큰 차이가 있습니까?

— user929304

@ user929304 아마도 다른 답변을 얻을 수있을 것입니다. 예를 들어, P와 Q가 상태가 하위 집합 A와 B로 분할되어 A에서 B로, 모든 B에서 A로 전환되는 체인을 실행한다고 가정합니다. P와 Q는 모두 A의 상태에서 시작합니다. 제품 체인은 A와 B를 동시에 번갈아 사용하지만 순차적 체인과 무작위 선택 체인은 그 불변 패턴을 깨뜨립니다.

— whuber