Markov가 임의 필드

그들의 교과서, 그래픽 모델, 지수 가족 및 변형 추론 에서 M. Jordan 과 M. Wainwright 는 지수 패밀리 와 Markov Random Fields (무 방향 그래픽 모델) 의 연관성을 논의합니다 .

다음 질문을 통해 그들 사이의 관계를 더 잘 이해하려고합니다.

모든 MRF가 지수 패밀리의 구성원입니까?
지수 가족의 모든 구성원을 MRF로 나타낼 수 있습니까?
MRFs 경우 지수의 가족은 어떤 한 유형의 분포의 좋은 예는없는 다른에 ncluded있다 ? $\neq$

교과서 (3 장)에서 내가 이해 한 내용에서 Jordan과 Wainwright는 다음과 같은 주장을 제시합니다.

우리가 일부 유통 다음과 AA 스칼라 확률 변수의 X 말해봐 , 그리고 그릴 IID 관찰 , 우리가 확인하고 싶은 . $p$ $n$ $X^1, \ldots X^n$ $p$
특정 함수의 경험적 기대치를 계산합니다. $\phi_\alpha%$

$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ 모든 $\alpha \in \mathcal{I}$

여기서 일부 각 는 함수를 색인화합니다 $\alpha$ $\mathcal{I}$ $\phi_\alpha: \mathcal{X} \rightarrow R$
그런 다음 다음 두 세트의 수량을 일관되게, 즉 일치하도록 ( 를 식별 ) 강제한다면 : $p$
- 분포 의 충분한 통계량 에 대한 기대치 $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- 경험적 분포에 따른 기대

우리는 얻을 underdetermined 문제가 많은 배포판이 있다는 점에서, 관찰과 일치한다. 따라서 ( 를 식별하기 위해 ) 중에서 선택하는 원칙이 필요합니다 . $p$ $p$

이 불확실성을 제거하기 위해 최대 엔트로피 원리를 사용하면 단일 얻을 수 있습니다 . $p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ 따라 모든 대해 $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

여기서 는 exp 여기서 는 지수 패밀리 형태로 분포의 모수화를 나타냅니다. $p^*$ $p_\theta(x) \propto$ ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ $\theta \in R^d$

다시 말해 우리가

분포의 기대치가 경험적 분포에 따른 기대치와 일치하게하십시오.
최대 엔트로피의 원칙을 사용하여 결정을 제거하십시오

$\rightarrow$ 우리는 지수 패밀리의 분포로 끝납니다.

그러나 이것은 지수 패밀리를 도입한다는 주장과 비슷하며 MRF와 exp의 관계를 설명하지는 않습니다. 가족들. 아무것도 빠졌습니까?

mathematical-statistics graphical-model

— 아멜리오 바스케스 레이나
소스

[MRFs] ( en.wikipedia.org/wiki/Markov_random_field )는 최대 엔트로피 원리에 따라 정의되지 않지만, 그 자체로 밀도는 그래프. MRF는 로그 선형 표현으로 인해 지수 패밀리입니다.

— 시안

감사합니다 @ Xi'an. 이 부분 " MRF는 그래프의 경사에 따라 밀도가 분해된다는 사실에 의해 정의됩니다 "는 항상 MRF를 정의한다고 생각한 것입니다. 그러나 왜이 속성이 모든 MRF를 지수 가족의 일부로 만드는가? 그리고 다른 유형의 구성원이 아닌 유형 (MRF 또는 exp. family)의 예 (있는 경우)는 무엇입니까?

— Amelio Vazquez-Reina

나는 그것이 당신을 위해 얼마나 추가 할 지 확신하지 못하지만, 더 명확하게 할 수있는 한 가지는 Geman과 Geman 이이 논문 에서 Gibbs 분포와 MRF의 원래 공식을 읽는 것입니다 . 기본적으로 전체 아이디어는 Boltzman 분포를 사용하여 (마이너스로 확대) 무언가를 모델링 한 다음 어떻게 요인이 구성되는지를 묻는 것입니다. 이를 설명하는 이러한 방법으로 인해 지수 가족과의 연관성이 더 분명 할 수 있습니다.

— ely

지수 패밀리는 로그 밀도가 본질적으로 관측 값의 벡터 함수와 매개 변수의 벡터 함수의 스칼라 곱이라는 사실에 의해 정의됩니다. 이 정의에는 그래픽 구조가 없습니다. MRF는 또한 도둑, 이웃 등을 정의하는 그래프를 포함합니다. 따라서 MRF는 그래프 구조가 추가 된 지수 군입니다.

— 시안

모순되는 의견 / 답변의 혼란은 매개 변수와 관련하여 로그 선형이 아닌 요인을 도입 할 수 있는지 여부에 달려 있습니다.

— 야로슬라프 불라 토프

당신이 제시 한 주장은 지수 패밀리를 최대 엔트로피의 원리와 관련이 있지만 MRF와는 아무런 관련이 없습니다.

세 가지 초기 질문을 해결하려면 :

지수 가족의 모든 구성원을 MRF로 나타낼 수 있습니까?

예. 실제로, 모든 밀도 또는 질량 함수는 MRF로 표현 될 수 있습니다! Wikipedia [1]에 따르면, MRF는 무 방향 그래프와 관련하여 Markov 인 랜덤 변수 세트로 정의됩니다. 마찬가지로 변수의 결합 분포는 다음 인수 분해로 작성할 수 있습니다. 여기서 는 최대 도축 . 이 정의를 통해 완전히 연결된 그래프는 정보가 전혀 없지만 분포와 일치한다는 것을 알 수 있습니다.

P (X = x) = \prod_{C \in c l (G)} ϕ_{C} (X_{C} = x_{C})

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$

모든 MRF가 지수 패밀리의 구성원입니까?

아니요. 모든 분포가 MRF로 표현 될 수 있으며 모든 분포가 지수 계열에 속하지는 않습니다. 지수 계열이 아닌 일부 "MRF 구성원"이 있어야합니다. 그럼에도 불구하고 이것은 완벽하게 자연스러운 질문입니다. 실제로 사람들이 사용하는 대다수의 MRF 기하 급수 가족 분포 인 것 같습니다. 모든 유한 도메인 이산 MRF 및 가우스 MRF는 지수 제품군의 구성원입니다. 실제로, 지수 패밀리 분포의 곱도 지수 패밀리에 있기 때문에 모든 잠재적 기능이 (정규화되지 않은) 지수 패밀리 구성원의 형태를 갖는 MRF의 공동 분포는 자체적으로 지수 패밀리에있게됩니다. $are$

MRFs 경우 지수의 가족은 어떤 한 유형의 분포의 좋은 예는하지 다른 포함되어 있습니까? $\neq$

혼합물 분포는 비 지수 패밀리 분포의 일반적인 예입니다. 선형 가우시안 상태 공간 모델 (숨겨진 Markov 모델과 같지만 연속 숨겨진 상태와 가우시안 전이 및 방출 분포가있는)을 고려하십시오. 전이 커널을 가우스 혼합으로 바꾸면 결과 분포가 더 이상 지수 계열에 포함되지 않지만 실제 그래픽 모델의 풍부한 조건부 독립 구조 특성은 계속 유지됩니다.

[1] http://en.wikipedia.org/wiki/Markov_random_field

— 드류
소스