웜과 애플의 기대 가치

사과는 꼭짓점에 있습니다 $A$ 국방부의 $ABCDE$웜은 두 정점에서 $C$. 웜은 매일 인접한 두 정점 중 하나와 동일한 확률로 크롤링합니다. 따라서 하루 만에 웜은 정점에 있습니다.$B$ 또는 $D$확률로 각각 $1/2$. 이틀이 지나면 웜이 다시 시작될 수 있습니다.$C$이전 위치에 대한 메모리가 없기 때문에 다시. 정점에 도달하면$A$, 그것은 식사를 중지합니다.

(ᄀ) 저녁 식사까지의 평균 일수는 얼마입니까?

(b) p는 일수가 될 확률이라고하자 $100$이상. 마르코프의 불평등은 무엇에 대해 말하는가$p$?

(a)의 경우 $X$석식까지의 일 수로 정의 된 임의 변수입니다. 따라서

$$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$$

일반 배포판은 무엇입니까?

(b)의 경우 (a)를 알고 있다면

$$P(X \geq 100) \leq \frac{E(X)}{100}$$

Glen_b 의 탁월한 답변 에서 그는 간단한 선형 방정식 시스템을 사용하여 예상 값을 분석적으로 계산할 수 있음을 보여줍니다. 이 분석 방법에 따라 사과로의 예상 이동 수가 6인지 확인할 수 있습니다. whuber의 또 다른 훌륭한 답변은 주어진 횟수만큼 이동 한 후 공정에 대한 확률 질량 함수를 도출하는 방법을 보여 주며이 방법을 사용하여 예상 값에 대한 분석 솔루션을 얻을 수도 있습니다. 이 문제에 대한 더 많은 통찰력을 원한다면, 무작위 무작위 걷기 에 관한 논문을 읽어야합니다 (예 : Stephens 1963 참조 ).

문제에 대한 다른 견해를 제시하기 위해 통계 계산을 사용하여 Markov 체인을 계산하는 무차별 대입법을 사용하여 동일한 결과를 얻는 방법을 보여 드리겠습니다. 이 방법은 여러면에서 분석 검사보다 열등하지만 중요한 수학적 통찰력없이 문제를 처리 할 수 ​​있다는 장점이 있습니다.

---

무차별 계산 방법 : 순서로 상태를 취 하면 다음 전이 행렬에 따라 Markov 체인 전이가 수행됩니다.$A,B,C,D,E$

$$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$$

첫 번째 상태는 벌레가 사과에 있는 흡수 상태 입니다. 하자 웜이 상태에서 애플에 도달 할 때까지 이동의 숫자 . 그런 다음 모든 에 대해이 이동 횟수 후에 웜이 사과에있을 확률은 및이 상태에서 사과로 이동하기위한 예상 이동 수는 다음과 같습니다.$A$$T_C$$C$$n \in \mathbb{N}$$\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

$$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$$

합의 항은 큰 대해 기하 급수적으로 감소 하므로 유한 수의 항에서 합을 잘라 냄으로써 기대 값을 원하는 수준의 정확도로 계산할 수 있습니다. (항의 기하 급수적 쇠퇴는 제거 된 항의 크기를 원하는 수준 아래로 제한 할 수 있도록합니다.) 실제로 나머지 항의 크기가 매우 작을 때까지 많은 수의 항을 취하는 것이 쉽습니다.$n$

---

R로 프로그래밍 :R 아래 코드 를 사용하여 이를 함수로 프로그래밍 할 수 있습니다 . 이 코드는 유한 한 이동 시퀀스를 위해 전이 행렬의 거듭 제곱 배열을 생성하도록 벡터화되었습니다. 또한 사과에 도달하지 않았을 가능성을 나타내는 플롯을 생성하여 기하 급수적으로 감소 함을 보여줍니다.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

이 계산에서 볼 수 있듯이 사과에 도달 할 것으로 예상되는 이동 수는 6입니다. 이 계산은 Markov 체인에 대해 위의 벡터화 된 코드를 사용하여 매우 빠릅니다.

모든 Markov 체인 루틴을 거치지 않고 부분 (a)를 보는 간단한 방법을 설명하고 싶습니다. 걱정해야 할 두 가지 등급의 상태가 있습니다. 한 걸음 떨어져 있고 두 걸음 떨어져 있습니다 (C와 D는 A에 도달 할 때까지 예상되는 단계와 동일하고 B와 E는 동일합니다) " "가 정점 등에서 수행하는 단계 수를 나타냅니다 .$S_B$$B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

마찬가지로 대한 방정식을 작성하십시오 .$E(S_B)$

첫 번째 (및 편의 쓰기로 두 번째를 대체 에 대한 ) 그리고 당신을위한 솔루션 얻을 라인의 몇을.$c$$E(S_C)$$c$

문제

이 마르코프 체인 웜인지 여부를 구별 세 가지 상태,가 또는 공백이 떨어져 하자 웜에 도달하는 데 걸리는 많은 단계주는 확률 변수가 될 상태에서 그들의 확률 생성 함수는 이러한 변수의 확률을 인코딩 할 수있는 편리한 대수적 방법입니다. 그것은 컨버전스 같은 분석 문제에 대해 걱정할 필요가 없습니다 : 단지로 볼 공식적인 멱급수 심볼에서 에 의해 제공$0,$ $1,$$2$$C.$$X_i$$C$$i\in\{0,1,2\}.$$t$

$$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$$

이후 그 것을 사소한 를 찾아야$\Pr(X_0=0)=1,$$f_0(t)=1.$$f_2.$

분석 및 솔루션

상태 에서 웜은 가 상태 로 돌아가 거나 에 도달 할 가능성이 동일 합니다. 한 단계내어 회계 처리 추가 의 모든 힘에 , 동등하여 PGF 승산에 주는$1,$$1/2$$2$$C$$1$$t$$t$

$$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$$

유사하게, 상태에서 웜 상태에 머물 가능성 동일 갖는 또는 상태에 도달 어디서$2$$2$$1,$

$$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$$

의 모양 변수 도입하여 우리의 작업을 쉽게 할 것이다 제안 제공$t/2$$x=t/2,$

$$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$$

첫 번째를 두 번째로 바꾸고 회상 하면$f_0=1$

$$f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$$

독특한 솔루션은

$$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$$

내가 방정식 강조 우리가 분석하여 얻을 것이다 방정식에 기본적인 단순하고 형식적인 유사성을 강조하기 위해 단지 예상 값 효과, 작품의 같은 양을 위해이 하나 개의 번호를 찾을 필요, 우리는 전체 배포판 을 얻습니다 .$(*)$$E[X_i]:$

의미와 단순화

마찬가지로, 가 기간별로 작성되고 의 거듭 제곱 이 일치하면 대해 다음과 같이 주장합니다$(*)$$t$$n\ge 4,$

$$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$$

이것은 유명한 피보나치 수열의 재발입니다.

$$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$$

( 에서 색인화 됨 ). 용액 정합 이 순서 (두 위치만큼 시프트된다는 가능성이 없기 때문에 또는 과 체크 쉽다가 ).$n=0$$(**)$$X_2=0$$X_2=1$$2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

따라서

$$\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$$

더 구체적으로,

$$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$$

---

대한 기대 값은 미분 을 평가하고 대입 하면 쉽게 찾을 수 있습니다 ( 항의 거듭 제곱을 조건에 따라 차별화 ).$X_2$$f^\prime$$t=1,$$t$

$$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$$

확률과 의 값을 곱한 값 은 정확히 의 정의 입니다 사용하여 미분을 취하면 예상에 대한 간단한 공식이 생성됩니다.$X_2,$$E[X_2].$$(**)$

---

간단한 의견

부분 분수로 를 확장하여 를 두 개의 기하학적 계열의 합으로 쓸 수 있습니다. 이것은 확률이 이 기하 급수적으로 감소 을 나타냅니다. 또한 꼬리 확률 대해 닫힌 양식을 생성합니다 이를 사용하여 이 보다 약간 작다는 것을 빠르게 계산할 수 있습니다$(**)$$f_2$$\Pr(X_2=n)$$\Pr(X_2 \gt n).$$\Pr(X_2 \ge 100)$$10^{-9}.$

마지막으로,이 공식에는 황금비 이 숫자는 (정사각형의) 오각형의 코드 길이로, 오각형의 순수한 조합 마르코프 체인 (유클리드 기하학에 대해서는 아무것도 알지 못함)과 유클리드 비행기.$\phi = (1 + \sqrt{5})/2.$

저녁 식사까지 평균 일수는 첫날에 취한 단계를 따릅니다. 하자 벌레가 사과를 얻을 때까지의 일수합니다. 하자 첫 번째 단계가 될.$X$$F$

그럼 우리는

$$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$$

첫 번째 단계가 경우 웜은 2 일째에 확률로 절반을 사과로 얻거나 절반 으로 확률 을 정점 로 되돌려 다시 시작합니다. 우리는 이것을 다음과 같이 쓸 수 있습니다$B,$$C$

$$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$$

첫 번째 단계가 경우 대칭으로 이것은 웜이 단일 단계를 수행 한 것을 제외하고는 정점 동일합니다.$D,$$C$

$$E[X|F=D]=1+E[X]$$

모두 합치면

$$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$$

풀면 수확량$E[X]$

$$E[X] = 6$$