Markov 체인은 무엇입니까?

나는 현재 Markov chain lumping에 관한 논문을 읽고 있는데 Markov chain과 일반 지향 가중치 그래프의 차이점을 보지 못했습니다.

예를 들어 Markov 체인의 최적 상태 공간 덩어리 기사 에서 CTMC (연속 시간 Markov 체인)에 대한 다음 정의를 제공합니다.

우리는 유한 한 CTMC를 고려합니다 $(\mathcal{S}, Q)$ 상태 공간 $\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$ 전 이율 매트릭스에 의한 것 $Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$.

그들은 Markov 속성을 전혀 언급하지 않으며 실제로 가장자리의 가중치가 확률을 나타내는 경우 확률이 체인의 현재 상태에만 의존하고 리드의 경로에 의존하지 않기 때문에 Markov 속성이 사소하게 유지된다고 생각합니다 그것에.

다른 기사 에서 Lumpability의 관계 속성에 대한 Markov 체인은 유사하게 정의됩니다.

마르코프 체인 $M$ 삼중 항으로 표시됩니다 $(S, P, \pi)$ 어디 $S$ 유한 상태는 $M$, $P$ 한 상태에서 다른 상태로 갈 확률을 나타내는 전이 확률 행렬 $\pi$ 시스템이 특정 상태에서 시작될 가능성을 나타내는 초기 확률 분포입니다.

다시 말하지만 과거 나 미래 나 독립에 대한 언급은 없습니다.

세 번째 논문 인 Simple O (m logn) Time Markov Chain Lumping 은 가장자리의 가중치가 확률이라고 언급하지 않을뿐만 아니라 다음과 같이 말합니다.

많은 응용 분야에서 가치 $W(s, s')$음수가 아닙니다. 그러나 우리는 이러한 가정을하지 않습니다.$W(s, s)$ 고의로 선택 $-W(s, S \setminus \{s\})$보통 음수로 만듭니다.

또한 덩어리 화는 Markov 속성을 유지하면서 ( "등가"상태를 더 큰 상태로 집계하여) 상태 수를 줄이는 방법이어야한다고 언급되어 있습니다. 그러나 나에게 그것은 단순히 확률을 합한 것처럼 보이며 집계 된 상태로의 전환의 결과적 인 개연성이 범위 내에 있음을 보장해서는 안됩니다.$[0,1]$. 그러면 덩어리가 실제로 무엇을 보존합니까?

따라서 두 가지 가능성이 있습니다.

• Markov 체인이 무엇인지 이해하지 못했습니다.
• 이 논문에서 마르코프 체인이라는 용어는 가짜입니다

누군가 상황을 명확히 할 수 있습니까?

실제로이 용어를 사용하는 다른 커뮤니티가있는 것처럼 보이며 광범위하게 다른 것을 의미합니다. 내가 생각하고있는이 3 가지 기사에서 Markov 속성은 사소하거나 쓸모가없는 것처럼 보이지만 다른 종류의 논문을 보면 근본적으로 보입니다.

연속 시간 마르코프 체인은 일정한 음이 아닌 가중치 에지를 가진 방향 그래프로서 표현 될 수있다. 유 방향 그래프의 상수 간선 가중치에 대한 동등한 표현$N$ 노드는 $N \times N$매트릭스. 마르코프 속성은 (미래 상태는 현재 상태에 의존하는 것으로)는 암시 상수 에지 웨이트 (또는 매트릭스 엔트리 상수)이다. 에 의해 암시 된 의미 . 수학자들은이 단어를 "어떻게 스스로 증명해야한다"라는 의미로 사용됩니다.

그러나 첫 번째 논문은 때때로 Markov Process 라고 하는 Continuous-time Markov Chain 과 일치하는 표기법을 정의하는 반면, 두 번째 논문은 Discrete-time Markov Chain 과 일치하는 표기법을 정의합니다 . 그들은 말한다

$P$는 하나의 상태에서 다른 상태로 갈 확률을 나타내는 전이 확률 행렬입니다.$\pi$는 IS 초기 확률 분포 시스템이 특정 상태에서 시작하기위한 가능성을 나타내는이. [강조 추가]

그들은 시간이 지남에 따라 행렬이 일정하다고 가정합니다 (따라서 Markov 속성을 암시 함). 확률 이라는 용어 에는 각 상수가 범위 내에 있다는 사실이 내재되어 있습니다.$[0,1]$, 모든 열의 항목이 $P$ 합하다 $1$그리고 그 항목의 합 $\pi$ 합하다 $1$.

세 번째 논문을 읽을 수 없습니다. 행렬의 모든 열에있는 항목이 1의 합이어야하는 경우, 확률이며 불연속 마르코프 체인에 대해 이야기하고 있습니다. 모든 열의 항목이 임의의 숫자로 합산 될 수있는 경우 항목은 확률 이 아닌 비율을 나타내며 연속 마르코프 체인에 대한 것입니다.

연속 시간 마르코프 체인은 이산 시간 마르코프 체인 과 다릅니다 . A의 연속 시간 마르코프 체인 에지 가중치는 확률이 아니라 나타내지 않는 전환 속도를 . 간선 가중치는 음이 아니어야하지만 임의로 클 수 있으며 바깥 쪽의 가중치는 음수가 아닌 숫자와 합칠 수 있습니다. 합계는 필요하지 않습니다$1$.

연속 시간 및 이산 시간 Markov 체인 모두 Markov 속성은 상수 간선 가중치 (또는 전이 행렬의 상수 항목)에 의해 암시됩니다.

Markov Chain은 연속 시간과 이산 시간이라는 두 가지 맛이 있습니다.

CTMC (Continuous Time Markov Chains)와 DTMC (Discrete Time Markov Chain)는 모두 가중 가중치 그래프로 표시됩니다.

DTMC의 경우 전환에는 항상 "시간"단위가 필요합니다. 결과적으로, 아크의 무게가 무엇인지 선택의 여지가 없습니다. "i"에 있다고 가정하면 "j"가 될 확률이 있습니다.

CTMC의 경우 두 상태 사이의 전환 시간은 반드시 지수 랜덤 변수로 제공됩니다. 이것이 CTMC와 DTMC의 주요 차이점입니다. DTMC에는 항상 단위 전환 시간이 있습니다. CTMC에는 임의의 전환 시간이 있습니다.

CTMC의 경우 일반적으로 소스에서 대상으로가는 지수 랜덤 변수의 비율에 따라 호에 가중치를 적용하는 것이 관례입니다. 즉, 관례는 확률이 아닌 호 에 요금 을 부과 하는 것입니다.

마이너스 요금

내가 기억하는 모든 CTMC가 가장자리에 양의 비율로 표시되었지만 CTMC 분석에서 음의 비율이 나타납니다.

다음과 같이 B, C 및 D에 연결된 상태 A에 서 있다고 가정하십시오.

A -> B (비율 로 에서 A B가 음) -> C (비율 로 에서 D C가 음) -> A (비율 로 에서 D가 양)

이것은 당신의 논문이 말하는 것이 아닐 수도 있습니다. 누군가가 적절한 관습을 가지고 일하고 있다면 부정적인 가중치가 반드시 어리석은 것은 아니라는 것을 보여주기 위해 그것을 가져옵니다.

마르코프 속성

DTMC에게는 맞습니다. markov 속성은 사소하게 만족됩니다. CTMC의 경우 markov 속성은 지수 랜덤 변수 ( "메모리 없음")에 의해 전이가 주어지기 때문에 충족됩니다. 지수 랜덤 변수에 의해 전이가 주어지지 않으면 (즉, 그것들은 균일하다), 우리는 "세미-마코프 체인"또는 "세미-마코프 프로세스"에 대해 이야기 할 것입니다.