Markov 체인의 메모리가없는 속성 확인

17

일련의 관찰 된 시퀀스가 마르코프 체인 인 것 같습니다.

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

그러나 그들이 실제로 의 메모리없는 속성을 존중하는지 어떻게 확인할 수

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

아니면 적어도 그들이 본질적으로 마르코프임을 증명합니까? 이들은 경험적으로 관찰 된 서열이다. 이견있는 사람?

편집하다

덧붙여서, 목표는 관찰 된 순서와 예측 된 순서를 비교하는 것입니다. 그래서 우리는 이것을 비교하는 가장 좋은 방법에 대한 의견에 감사드립니다.

1 차 전이 행렬

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ 여기서 m = A..E 상태

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

M 고유 값

E = (\begin{array}{ccccccc} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & - 0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0 \\ 0 & 0 & 0 & 0.1136 - 0.0430 i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430 i \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

M 고유 벡터

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
소스

열은 시리즈를 포함하고 행은 시퀀스의 요소입니까? 관찰 된 행과 열 수는 얼마입니까?

— mpiktas

2

가능한 중복 : stats.stackexchange.com/questions/29490/…

— mpiktas

@mpiktas 행은 상태 AD를 통한 독립적으로 관찰 된 전이 시퀀스를 나타냅니다. 약 400 개의 시퀀스가 있습니다 ... 관찰 된 시퀀스가 모두 같은 길이는 아님을 명심하십시오. 실제로 위의 행렬은 많은 경우 0으로 보강됩니다. 그런데 링크 주셔서 감사합니다. 이 분야에는 여전히 일할 여지가 충분한 것 같습니다. 더 이상의 생각이 있습니까? 감사합니다

— HCAI

1

선형 회귀는 나의 주장의 요점을 강화하기위한 예였습니다. 즉, Markov 속성을 직접 테스트하지 않아도 될 수 있으므로 Markov 속성을 가정 한 일부 모뎀 만 설치 한 다음 모델 유효성을 검사하면됩니다.

— mpiktas

1

나는 어딘가에서 H0 = {Markov} 대 H1 = {Markov order 2}에 대한 가설 테스트를 본 것을 기억합니다. 도움이 될 수 있습니다.

— Stéphane Laurent

5

다음이 다음과 같은 비율에 대해 유효한 Pearson 테스트를 제공하는지 궁금 합니다. $\chi^2$

원스텝 전환 확률을 추정하십시오.
두 단계 확률 모델을 ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
2 단계 경험적 확률을 구합니다 ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
폼 피어슨 통계량 $T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

전체 되도록 각 을 생각하는 것이 유혹 입니다 . 그러나 나는 그것을 완전히 확신하지 못하며 이것에 대한 당신의 생각에 감사드립니다. 나는 마찬가지로 하나의 요구가 독립에 대한 편집증이 될 것인지 여부에 대한 공동 sertain하지 아닙니다, 그리고 추정 절반에 샘플을 분할 할 것입니다 와 . $T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— StasK
소스

확률이 평균 0과 분산 = 1 인 정규 분포를 갖지 않아도됩니까? 나는 누군가가 여기에서 어떻게 생각하는지 알고 싶습니다.

— HCAI

그것이 합계의 용어가 무의식적으로 많은 것으로 가정되는 것입니다.

— StasK

6

Markov 속성은 직접 테스트하기 어려울 수 있습니다. 그러나 Markov 속성을 가정 한 모델이 적합하고 모델 보유 여부를 테스트하는 것으로 충분할 수 있습니다. 적합 모델은 실제로 유용한 근사치이며 Markov 속성이 실제로 보유되는지 여부에 대해 걱정할 필요가 없습니다.

선형 회귀에 평행을 그릴 수 있습니다. 일반적인 관행은 선형성이 유지되는지 여부를 테스트하는 것이 아니라 선형 모델이 유용한 근사치인지 여부를 테스트하는 것입니다.

— mpiktas
소스

이것은 실제로 가장 좋은 옵션처럼 보이지만 실제로는 실제 실험 데이터와 선형 모델을 비교할 수 없습니다. 아니면 다른 것을 염두에 두셨습니까?

— HCAI

6

이전 응답의 제안을 구체화하려면 먼저 Markov라고 가정하고 Markov 확률을 추정하려고합니다. 여기에 응답을 참조하십시오 산정 마르코프 체인 확률

상태 A에서 A, A에서 B 등으로의 전환 비율을 기반으로 4 x 4 행렬을 합니다. 이 행렬 호출하십시오 . 단계 전이 행렬이어야합니다. 관측 된 2 단계 전이 행렬이 와 유사한 지 테스트 할 수 있습니다 . $M$ $M^2$ $M^2$

상태 수에 대한 많은 데이터 가 있으므로 데이터의 절반에서 을 추정 하고 다른 절반을 사용하여 를 테스트 할 수 있습니다. 다항식의 이론적 확률에 대해 관측 된 빈도를 테스트합니다. 그것은 당신이 얼마나 멀리 있는지에 대한 아이디어를 줄 것입니다. $M$ $M^2$

또 다른 가능성은 기본 상태 비율 (A에 소비 된 비율 시간, B에 소비 된 시간)이 M의 단위 고유 값의 고유 벡터와 일치하는지 여부를 확인하는 것입니다. 계열이 일정한 상태에 도달하면 각각의 시간 비율 상태는 그 한계에 도달해야합니다.

— 플라시 디아
소스

Transition matrix

계산했지만

경험적으로 계산하는 방법을 잘 모르겠습니다 . 그 점을 분명히 해 주시겠습니까? 감사합니다

M

$M$

M^{2}

$M^2$

— HCAI

또한 후자의 의견은 매우 흥미 롭지 만 관찰 된 시퀀스의 각 상태에서 시간을 보냈습니다. 각 행의 총 시간 만 있습니다. 따라서 해당 방법의 적용 가능성이 제한 될 수 있습니다. 당신의 생각은 무엇입니까?

— HCAI

1

가장 가까운 이웃 전이 (예 : 시퀀스 AB)를 보는 대신 M과 동일한 방식으로 2 개의 쌍을 찾으십시오. 따라서 대상이 ACB가되면 AB 전이 카운트에 포함됩니다. ABB도 마찬가지입니다. 행 i의 항목, 열 j에 i에서 j 로의 전이가 포함 된 행렬을 만듭니다. 그런 다음 열 합계로 나눕니다. 열의 합계는 1입니다. Markov 속성에서이 행렬은

M^{2}

$M^2$

— Placidia

재 : 평형. 전환이 설정된 순간에 발생한다고 가정했습니다. 매 초마다 현재 상태에서 다음 상태로 전환합니다. 시퀀스의 끝 근처 또는 시퀀스 전체에서 A, B, C 및 D 상태의 주파수를 사용하여 한계 동작을 추정 할 수 있습니다.

— Placidia

R에서 고유 (M)를 수행하면 M의 고유 값과 고유 벡터를 가져와야합니다. 하나의 고유 값은 1이됩니다. 해당 고유 벡터는 정상 상태 비율에 비례해야합니다.

— Placidia

2

Markov 속성 (MP) 이외 의 추가 속성은 Time Homogeneity (TH)입니다. 는 Markov가 될 수 있지만 시간 에 따라 전이 행렬 있습니다. 예, 그것은에서 요일에 따라 달라질 수 있습니다 관찰 매일 경우, 다음 의존도 에 조건에 TH가 과도하게 가정하면 진단 할 수있다. $X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

가정 TH는 MP가 취할 수있는 검사가 검사되고, 유지 독립적으로 조건에서 마이클 Chernick 및 StasK 제안한다. 우발 사고 테스트 테이블을 사용하여이를 수행 할 수 있습니다. 우리는 만들 수 의 비상 테이블 및 조건부 대한 가능한 값 $X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ 독립성을 테스트합니다. 이것은 또한 사용하여 수행 할 수 있습니다 로 대신에 . $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$

R에서, 비상 테이블 또는 배열은 쉽게 덕분에 생산 요소의 시설과 기능을 apply, sweep. 위의 아이디어는 그래픽으로 활용할 수도 있습니다. 패키지 ggplot2 또는 격자 는 조건부 분포 를 비교하기위한 조건부 플롯을 쉽게 제공합니다 . 예를 들어 를 행 인덱스 및 로 설정 $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$ trellis의 컬럼 인덱스는 MP에서 컬럼 내에서 유사한 분포를 가져야합니다.

챕터. 책 5 시간 확률 프로세스의 통계적 분석 JK 의해 린지는 가정을 확인하기위한 다른 아이디어를 포함한다.

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— 이브
소스

2

나는 placida와 mpiktas가 매우 사려 깊고 훌륭한 접근 방식을 제공했다고 생각합니다.

$P(X_i=x|X_{i-1}=y)$ $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$

값을 선택합니다. $x$ $y$ $z$ $z$ $y$ $x$ $z$ $y$ $x$ $x$ $y$ $x$ $x$

그런 다음 검정 통계량은 이러한 추정 비율의 차이입니다. 베르누이 서열의 표준 비교에 대한 합병증은 이들이 서로 관련되어 있다는 것이다. 그러나이 경우 이항 비율의 부트 스트랩 테스트를 수행 할 수 있습니다.

$0$ $1$ $(0,0)$ $(0,1)$ $(1,0)$ $(1,1)$

— 마이클 R. 체 르닉
소스

P (X_{i} | X_{i - 1} = y)

$P(X_i|X_{i-1}=y)$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

i \to j \to i

$i\rightarrow j\rightarrow i$

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$

1

$\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$ . By the law of total variance,

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$ , though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$ . Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.

— Luke O'Connor
소스