베이지안 추정치와 최대 가능성 추정치의 차이는 무엇입니까?

베이지안 추정치와 최대 우도 추정치의 차이를 설명해주십시오.

bayesian maximum-likelihood

— 개선문
소스

베이지안 추정의 종류에 따라 다릅니다. 지도? 후자는? 베이 기능을 최소화 한 결과 일부 손실 기능에 대한 위험이 있습니까? 위의 각각? 다른 것?

— Glen_b

나는이 질문이나 아날로그에 대답했습니다. stats.stackexchange.com/questions/73439/… 두 가지를 이해하면서 어떤 문제가 있습니까? 자세한 내용은 더 나은 답변을 제공하는 데 도움이됩니다.

— Monica Reinstate Monica

STAN 참조 매뉴얼에서 : "사전이 균일 한 경우 사후 모드는 모수의 최대 가능성 추정치 (MLE)에 해당합니다. 사전이 균일하지 않은 경우 사후 모드를 때때로 최대 사후 (MAP) 추정치라고합니다. "

— Neerav

@Neerav 그게 내가 필요한 대답 입니다. thx

— javadba

베이지안 최대 사례에 대한 유용한 답변이 여기 에 제시되어 있다 .

— pglpm

답변:

그것은 매우 광범위한 질문이며 여기서 내 대답은 표면을 조금 긁기 시작합니다. Bayes의 규칙을 사용하여 개념을 설명하겠습니다.

확률 분포 모수 ( )가 데이터 세트 ( 가장 잘 설명 한다고 가정하자 . Bayes 'Rule의 도움으로 매개 변수 를 추정 할 수 있습니다 . $\theta$ $D$ $\theta$

p (θ | D) = \frac{p (D | θ) * p (θ)}{p (D)}

$p(\theta|D)=\frac{p(D|\theta) * p(\theta)}{p(D)}$

p o s t e r i o r = \frac{l i k e l i h o o d * p r i o r}{e v i d e n c e}

$posterior = \frac{likelihood * prior}{evidence}$

설명은 다음과 같습니다.

최대 가능성 추정

$\theta$ $p(D|\theta)$ $\hat{\theta}$ $\hat{\theta}$

다시 말해, 위의 방정식에서 MLE는 항을 처리합니다. $\frac{p(\theta)}{p(D)}$ $p(\theta)$ $\theta$

베이지안 추정

$p(\theta|D)$ $\theta$

$\theta$ $p(\theta|D)$ $\theta$ $\theta$ $\theta$

$evidence$

p (D) = \int_{θ} p (D | θ) * p (θ) d θ

$p(D) = \int_{\theta} p(D|\theta) * p(\theta) d\theta$

이는 베이지안 추정에서 '접합 사전'개념으로 이어진다. 주어진 우도 함수에 대해, 우리가 이전의 신념을 표현하는 방법에 대한 선택이있는 경우, 위에 표시된 통합을 수행 할 수있는 형식을 사용해야합니다. COOlSerdash 는 이 글 에서 켤레 이전의 개념과 실제 구현 방법에 대해 잘 설명 하고 있습니다.

— 주 바브
소스

이것에 대해 더 자세히 설명 하시겠습니까? : "베이 즈 규칙의 분모, 즉 증거."

— Daniel

나는 대답을 확장했다.

— Zhubarb

여기 방정식에서 @Berkan은 P (D | theta) 일 가능성이 있습니다. 그러나, 우도 함수는 주어진 데이터에서 파라미터 함수 인 P (θ)로 정의된다. 나는 항상 이것에 대해 혼란스러워합니다. 가능성이라는 용어는 여기서 다른 것을 의미합니까? 그것에 대해 자세히 설명해 주시겠습니까? 고마워요!

— zesla

@zesla 만약 나의 이해가 정확하다면, P (theta | D)는 가능성이 아닙니다 – 그것은 사후입니다. 즉, 표본이있는 데이터 소스에 대한 조건부 세타 분포입니다. P (D | theta) — 세타에 의해 매개 변수화 된 데이터 분포, 또는 더 직관적으로, "세상을 보는 것의 가능성"을 세타의 함수로 표현할 수 있습니다. 말이 돼? 다른 사람 : 내가 틀린 곳을 수정 해주세요.

— grisaitis

@zesla, grisaitis의 설명은 정확합니다.

— 바브

데이터 추론 메커니즘에 대한 파라 메트릭 확률 모델을 가정 할 수 있지만 모수의 실제 값은 알 수 없습니다.

최대 우도 추정은 데이터에 대한 확률 모델을 사용하고 하나 이상의 파라미터에 대해 관측 된 데이터의 공동 우도 함수를 최적화하는 것을 말합니다. 따라서 추정 된 매개 변수는 매개 변수 공간의 다른 매개 변수와 비교하여 관측 된 데이터와 가장 일치합니다. 매개 변수가 임의의 변수가 아니기 때문에 이러한 우도 함수는 반드시 매개 변수에 대해 "조건부"인 것으로 간주되지 않으므로 두 개의 다른 모수화를 비교하는 다양한 결과의 가능성을 생각하는 것이 다소 더 복잡합니다. 이것은 철학적으로 건전한 접근 방식으로 밝혀졌습니다.

베이지안 추정은 좀 더 일반적입니다. 왜냐하면 우리는 반드시 가능성의 베이지안 유사체 (후부 밀도)를 최대화하지는 않기 때문입니다. 그러나, 유사한 유형의 추정 (또는 사후 모드 추정)은 데이터에 따라 사후 파라미터의 확률을 최대화하는 것으로 보인다. 일반적으로 이러한 방식으로 얻은 Bayes의 추정치는 ML의 추정과 거의 동일하게 작동합니다. 주요 차이점은 Bayes 추론을 통해 명시적인 방법으로 이전 정보를 통합 할 수 있다는 것입니다.

또한 '최대 가능성의 서사시 역사가

http://arxiv.org/pdf/0804.2996.pdf

— AdamO
소스

이것에 대해 더 자세히 설명 하시겠습니까? "그러나, 유사한 유형의 추정 (또는 사후 모드 추정)은 데이터에 따라 사후 파라미터의 확률을 최대화하는 것으로 보인다."

— Daniel

연속 DF의 경우 값이 잘 정의되어 있기 때문에 사후 모드는 약간 잘못된 것입니다. 사후 밀도는 사후 밀도에서 매개 변수를 시뮬레이션 할 수 있다는 점을 제외하고는 빈번한 경우의 가능성과 관련이 있습니다. 흥미롭게도, 가장 직관적으로 "포지티브 평균"은 모수의 최고점 추정치라고 생각합니다. 이 접근법은 종종 이루어지며 대칭 단발 밀도에 대해 ML과 일치하는 신뢰할 수있는 유효한 간격을 생성합니다. 후방 모드는 후방 밀도의 정점에있는 매개 변수 값입니다.

— AdamO

"이것은 ML과 일치하는 유효한 신뢰할 수있는 간격을 생성합니다.": 실제로 모델에 따라 다릅니다. 일관성이있을 수도 있고 그렇지 않을 수도 있습니다.

— Daniel Daniel

기본 파라 메트릭 가정의 문제는 파라 메트릭 대 반 파라 나에 대한 토론 동기 비 -parametric 추론. 그것은 ML 대 베이지안 문제가 아니며 당신은 그 실수를 한 최초의 사람이 아닙니다. ML은 완전 파라 메트릭 접근 방식이므로 SP 또는 NP가 할 수없는 (그리고 가능하면 더 효율적으로) 일부를 추정 할 수 있습니다. ML에서 확률 모델을 올바르게 지정하는 것은 올바른 사전 및 모든 견고성 (및 감도 문제)을 선택하는 것과 정확히 같습니다.

— AdamO

BTW, 당신의 의견은 내 생각에이 질문에 불을 붙였습니다. 이것에 대한 의견이 있으십니까? stats.stackexchange.com/questions/74164/…

— Daniel

베이지안 추정은 베이지안 추론이고 MLE는 빈번한 추론 방법의 한 유형입니다.

$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$ $likelihood = \frac{posterior * evidence}{prior}$ $p(\theta) = 1/6$

베이지안 추론에서 MLE의 대안은 최대 사후 추정 (MAP)으로 불리며, 실제로 MLE는 위와 같이 Wikipedia에 명시된 바와 같이 사전이 균일 한 MAP의 특별한 경우입니다 .

베이지안 추론의 관점에서, MLE는 파라미터의 균일 한 사전 분포를 가정하는 최대 사후 추정 (MAP)의 특별한 경우이다.

자세한 내용은 MLE vs MAP : Maximum Likelihood와 Maximum A Posteriori Estimation의 관련 기사를 참조하십시오 .

또 다른 차이점은 최대 가능성이 과적 합하기 쉽다는 것입니다. 그러나 베이지안 접근 방식을 채택하면 과적 합 문제를 피할 수 있습니다.

— 레너 장
소스

Bayes의 멋진 점 중 하나는 점 추정치를 전혀 계산할 의무가 없다는 것입니다. 전체 후방 밀도는 "추정"이 될 수 있습니다.

— Frank Harrell

@FrankHarrell 친애하는 Harrell 교수님, 어딘가에 끔찍한 실수를 한 경우 답변을 수정하도록 도와 주실 수 있습니까? 매우 감사합니다!

— Lerner Zhang

당신이 실수했다는 것을 의미하지는 않았습니다.

— Frank Harrell

@lerner : 최대 우도 추정치를 최대 최대 추정치의 특정 사례 (이전이 일정 할 때)로 식별하지 않도록 경고하고 싶습니다 . 이 답변의 이유를 참조하십시오 .

— pglpm