Markov Random Field와 Conditional Random Field의 차이점은 무엇입니까?

MRF의 관측 된 노드 값을 고정하면 CRF가됩니까?

좋아, 나는 스스로 대답을 찾았다.

CRF (Conditinal Random Fields)는 Markov Random Fields (MRF)의 특수한 경우입니다.

1.5.4 조건부 랜덤 필드

CRF (Conditional Random Field)는 위의 숨겨진 MRF와 같이 데이터 z가 주어진 변수 x에 대한 사후를 정의하는 MRF의 한 형태입니다. 그러나 숨겨진 MRF와 달리, 데이터 분포 P (x | z)와 이전 P (x) 로의 인수 분해는 명시 적으로 이루어지지 않습니다 [288]. 이를 통해 인수 분해를 명시하지 않고 z에 대한 x의 복잡한 종속성을 사후 분포에 직접 작성할 수 있습니다. (P (x | z)는 이러한 인수 분해가 항상 존재하지만 실제로는 무한히 많으므로 CRF가 숨겨진 MRF보다 더 일반적이라는 제안은 없으며 다루기가 더 편리 할 수도 있습니다 .)

출처 : Blake, Kohli 및 Rother : 비전 및 이미지 처리를위한 Markov 랜덤 필드. 2011.

조건부 랜덤 필드 또는 CRF (Lafferty et al. 2001), 때로는 차별적 인 랜덤 필드 (Kumar and Hebert 2003)는 입력 특성에 따라 모든 clique potential이 조절되는 MRF의 버전 일뿐입니다 : [...]

MRF에 대한 CRF의 장점은 생성 적 분류기에 비해 차별적 분류기의 장점과 유사합니다 (섹션 8.6 참조). 즉, 우리가 항상 관찰하는 것을 "자원 낭비"할 필요가 없습니다. [...]

MRF에 비해 CRF의 단점은 레이블이있는 학습 데이터가 필요하고 학습 속도가 느리다는 것입니다 ...]

출처 : Kevin P. Murphy : 기계 학습 : 확률 적 관점

내 질문에 대답하기 :

MRF의 관측 된 노드 값을 고정하면 CRF가됩니까?

예. 값을 고정하는 것은 그것들을 조절하는 것과 같습니다. 그러나 훈련에도 차이가 있다는 점에 유의해야합니다.

코스 라에서 PGM (probabilistic graphic models)에 대한 많은 강의를 시청하면 많은 도움이되었습니다.

MRF vs Bayes nets : 예측할 수 없지만 (일반적으로) 말하기 에는 두 가지 유형의 그래픽 모델이 있습니다 : 무 방향 그래픽 모델과 직접 그래픽 모델 (예 : Tanner 그래프와 같은 다른 유형). 전자는 Markov Random Fields / Markov 네트워크 및 이후 Bayes nets / Bayesian 네트워크라고도합니다. (때로는 두 가지의 독립 가정이 화음 그래프로 표현 될 수 있음)

Markov는 인수 분해 방식을 나타내며 랜덤 필드 는 무 방향 모델에 의해 정의 된 분포 중 특정 분포를 의미 합니다.

CRF MRF$\in$ : 일부 변수가 관찰되면 동일한 무 방향 그래프 표현 (무 방향 그래프와 동일) 및 매개 변수화를 사용하여 조건부 분포 를 인코딩 할 수 있습니다. 여기서 는 대상 변수 세트이고 는 ( disjoint) 관찰 된 변수 세트.$P(Y|X)$$Y$$X$

유일한 차이점은 표준 마르코프 네트워크의 경우 정규화 용어가 X와 Y에 합산되고 CRF의 경우 용어는 Y에만 합산한다는 것입니다.

참고:

1. 무 방향 그래픽 모델 (Markov 임의 필드)
2. 확률 적 그래픽 모델 원리와 기법 (2009, MIT Press)
3. 마르코프 랜덤 필드

CRF를 사용한 모델링과 MRF의 조건부 추론을 대조하고 그 과정에서 정의를 설정 한 다음 원래 질문을 해결해 보겠습니다.

MRF

그래프 대한 Markov Random Field (MRF) 는$G$

1. 의 노드 (따라서 "랜덤 필드")에 해당하는 임의의 변수 (또는 원하는 경우 임의의 "요소 ") 세트$G$
2. 와 관련하여 마르코프 인 조인트 분포 ; 즉,이 MRF와 연관된 결합 확률 분포는 G에 의해 주어진 Markov 제한 조건에 종속됩니다. 두 변수 및 에 대해 값은 이웃 주어지면 조건부로 독립적입니다 . 이 경우, 결합 확률 분포 는 에 따라 인수 분해 한다고 합니다.$G$$V_i$$V_j$$V_i$$V_j$$\mathcal{B}_i$$P(\{V_i\})$ G$G$

MRF 하의 조건부 추론

MRF는 Markov 제약 조건을 준수하는 많은 변수에 대한 공동 분포를 나타내므로 일부 변수의 관측 값이 주어지면 조건부 확률 분포를 계산할 수 있습니다.

예를 들어 IsRaining, SprinklerOn, SidewalkWet 및 GrassWet의 4 개의 임의 변수에 대한 공동 분포가있는 경우 월요일에 SidewalkWet = False and GrassWet = 진실. 화요일에 SidewalkWet = True 및 GrassWet = True를 관찰 한 경우 IsRaining 및 SprinklerOn에 대한 조인트 확률 분포를 유추 할 수 있습니다.

다시 말해,이 두 가지 상황에서 동일한 MRF 모델을 사용하여 추론 할 수 있지만 모델을 변경했다고 말할 수는 없습니다. 실제로 여기서 설명한 두 경우 모두 SidewalkWet과 GrassWet을 관찰했지만 MRF 자체에는 "관찰 된 변수"가 없습니다. 모든 변수는 MRF의 눈에서 동일한 상태를 가지므로 MRF도 모델입니다. 예를 들어, SidewalkWet과 GrassWet의 공동 배포.

CRF

반면에, 우리는 정의 할 수있는 조건부 [마르코프] 그래프에 대하여 랜덤 필드 (CRF) 로서$G$

1. 의 노드에 해당하는 임의의 변수 집합, 하위 집합 은 항상 관찰되고 남아있는 변수$G$$\{X_i\}_{i=1}^n$$\{Y_i\}_{i=1}^m$
2. A의 조건부 분포 이다 마르코프을 에 대하여$P(\{Y_i\}_{i=1}^m|\{X_i\}_{i=1}^n)$G$G$

차이점

MRF와 CRF 모두에 대해 일반적으로 위의 비 예와 같이 다양한 설정에서 조건부 유추에 사용할 수있는 모델에 적합합니다. 그러나, MRF 더 일관되게 "관찰 변수"를 지정하지 않고 모든 변수를 통해 공동 분배를해야합니다 동안 그의 마르코프 제약 조건을 준수 하는 CRF :$G$

1. 변수의 하위 집합을 "관측"으로 지정

2. 관찰되지 않은 주어진 관측 변수에 대한 조건부 분포 만 정의 합니다. 관측 된 변수의 확률을 모델링하지 않습니다 (분포가 모수의 관점에서 표현되는 경우 매개 변수가 항상 알려질 수있는 확률을 설명하는 데 낭비되지 않기 때문에 종종 이점으로 간주 됨)

3. 관찰되지 않은 변수와 관련하여 Markov 제약 조건 만 준수하면됩니다 (예 : 관찰되지 않은 변수에 대한 분포는 관찰 된 변수에 임의로 의존 할 수 있지만 추론은 적어도 의 MRF만큼 다루기 쉬울 수 있습니다 ).$G$

CRF는 관측 된 변수 에 대한 Markov 제한 조건을 준수 할 필요가 없으므로 CRF의 그래픽 표현으로 표시되지 않습니다 (때로는 혼동 지점). 대신에 CRF int로서 정의 MRF 그래프에 노드에만 위해 포함 의 결합 분포의 매개 변수들과 s는의 함수 인 이므로 주어지면 조건 적으로 의 분포를 정의합니다 .$\{X_i\}$$G$G ' { Y i } { Y i } { X i } { Y i } { X i }$G'$$\{Y_i\}$$\{Y_i\}$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

예

마지막 예로, 다음 선형 체인 MRF는 모든 변수가 이라는 알려진 값이 주어지면 과 조건 적으로 독립적 임을 나타냅니다 .$Y_i$$X_1, X_2, ... X_{n-1}$$X_n$

대조적으로, 항상 관찰되는 것과 동일한 의 지정으로 동일한 에 정의 된 CRF 는 임의의 에 의존 하는 의 분포를 허용합니다 에스.$G$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

결론

그래서, 비록 ( "예")에 MRF의 조건부 분포 관찰 변수가 지정 제공 할 수 있습니다 생각은에 대하여 CRF가 될 (이 조건부 분포를 정의하기 때문에 순종의 마르코프 제약 것을 ), 그것은 다소이다 대한 CRF의 일반성을 달성 하지 못하고 퇴보한다 . 대신, 적절한 레시피는 MRF가 주어지면 관측 된 변수의 매개 변수화 된 함수의 출력으로 표현 된 MRF의 매개 변수로 관찰되지 않은 부분 집합에 MRF를 정의 하고, 가능성을 최대화하기 위해 함수 매개 변수를 훈련시킵니다. 레이블이 지정된 데이터의 결과 조건부 MRF$G$G G G G G$G$$G$$G$$G$$G$

모델 매개 변수의 잠재적 절약, 조건부 모델의 표현성 향상 및 추론 효율 유지 외에도 CRF 레시피에 대한 마지막 중요한 점은 개별 모델 (및 비 이산 모델의 큰 하위 집합)에 대한 것입니다. CRF 패밀리의 표현성, 로그 우도는 경사 하강에 의한 전역 최적화를 가능하게하는 함수 파라미터의 볼록 함수로 표현 될 수있다.

참조 : 원본 crf 용지 및 이 자습서