생성 대 차별 모델 (베이지 맥락에서)

베이지안 학습과 추론의 맥락에서 생성 적 모델과 차별적 (차별적) 모델의 차이점은 무엇입니까?

그리고 예측, 결정 이론 또는 비지도 학습과 관련이있는 것은 무엇입니까?

둘 다 형식의 훈련 예제가 주어지면 입력 x를 출력 y에 매핑하는 규칙을 배우려는 감독 학습에 사용됩니다 . 생성 모델 (예 : 순진 베이)은 명시 적으로 조인트 확률 분포 p ( x , y )를 모델링 한 다음 Bayes 규칙을 사용하여 p ( y | x ) 를 계산 합니다. 반면에 차별적 모델 (예 : 로지스틱 회귀)은 직접 p ( y | x )를 모델링 합니다.$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

$(y)$$p(x|y)$

한 모델이 다른 모델보다 나은 경우가있을 수 있습니다 (예 : 차별적 인 모델은 일반적으로 많은 데이터가있는 경우 더 나은 경향이 있습니다. 레이블이없는 데이터가 있으면 생성 모델이 더 나을 수 있습니다). 실제로, 두 세계 모두를 최대한 활용하려는 하이 버드 모델도 있습니다. 예를 들어이 논문을 참조하십시오. 생성 된 모델과 차별적 인 모델의 하이브리드

위의 답변에 한 가지 추가 사항 :

판별 기는 P (Y | X) 만 처리하므로 생성은 P (X, Y)와 P (X)를 동시에 처리하므로 P (Y | X)를 잘 예측하기 위해 생성 모델은 자유도 가 낮습니다. 판별 모델과 비교하여 모델에서. 따라서 생성 모델은 더 견고 하고 과적 합이 덜 발생하는 반면 판별은 반대 방향입니다.

위의 답변을 설명합니다.

한 모델이 다른 모델보다 나은 경우가있을 수 있습니다 (예 : 차별적 인 모델은 일반적으로 많은 데이터가있는 경우 더 나은 경향이 있습니다. 레이블이없는 데이터가 있으면 생성 모델이 더 나을 수 있습니다).