부분적 우도, 프로파일 우도 및 한계 우도의 차이점은 무엇입니까?

56

나는이 용어들이 사용되는 것을 보았고 그것들을 계속 섞고 있습니다. 차이점에 대한 간단한 설명이 있습니까?

estimation maximum-likelihood

— 롭 헨 드먼
소스

57

우도 함수는 일반적으로 많은 매개 변수에 따라 다릅니다. 응용 프로그램에 따라 일반적으로 이러한 매개 변수의 하위 집합에만 관심이 있습니다. 예를 들어, 선형 회귀에서 관심은 일반적으로 오차 분산이 아닌 기울기 계수에 있습니다.

로 관심 있는 매개 변수와 로 주요 관심 대상이 아닌 매개 변수를 나타냅니다 . 추정 문제에 접근하는 표준 방법은 가능성 함수를 최대화하여 및 추정값을 얻는 것 입니다. 그러나 주요 관심사는 부분 에 있기 때문에 프로파일 및 한계 가능성은 를 추정하지 않고 를 추정 하는 대체 방법을 제공합니다 . $\beta$ $\theta$ $\beta$ $\theta$ $\beta$ $\beta$ $\theta$

차이를 확인하기 위해 표준 우도를 냅니다. $L(\beta, \theta|\mathrm{data})$

최대 가능성

을 최대화하는 및 를 찾으십시오 . $\beta$ $\theta$ $L(\beta, \theta|\mathrm{data})$

부분적 우도

우도 함수를 다음과 같이 쓸 수 있다면 :

L (β, θ | d a t a) = L_{1} (β | d a t a) L_{2} (θ | d a t a)

$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$

그런 다음 간단히 최대화 합니다. $L_1(\beta|\mathrm{data})$

프로필 가능성

우리가 표현할 수있는 경우 의 함수로 우리는 대체 해당 기능을. $\theta$ $\beta$ $\theta$

라고 말하십시오 . 그런 다음, 우리는 최대화합니다 : $\theta = g(\beta)$

L (β, g (β) | d a t a)

$L(\beta, g(\beta)|\mathrm{data})$

한계 가능성

우리는 조건부 의 확률 분포를 식별 할 수 있다는 사실을 이용하여 가능성 방정식에서 를 통합합니다 . $\theta$ $\theta$ $\beta$

— b 스타
소스

2

여기서 마지막 정의 는 한계 가능성 이 아니라 통합 (또는 베이지안) 가능성입니다.

— ars

부분적 가능성에 대한 RHS에서 이것이 맞습니까? "L2 (θ | theta)"?

— jpalecek

@ars, 답변을 편집하고 Marginal Likelihood의 정의를 제공 하시겠습니까?

— Waldir Leoncio

13

세 가지 모두는 완전히 지정된 우도 함수에서 성가신 매개 변수를 다룰 때 사용됩니다.

한계 확률은 이론적으로 불필요한 매개 변수를 제거하는 기본 방법입니다. 그것은 진정한 우도 함수입니다 (즉, 관측 된 데이터의 (마진 적) 확률에 비례합니다).

부분적인 가능성은 일반적으로 진정한 가능성이 아닙니다. 그러나 어떤 경우에는 점근 적 추론의 가능성으로 취급 될 수 있습니다. 예를 들어, Cox 비례 위험 모델에서 시작된 기준 위험을 지정하지 않고 데이터의 관측 된 순위 (T1> T2> ..)에 관심이 있습니다. Efron은 부분적 가능성이 다양한 위험 함수에 대한 정보를 거의 또는 전혀 잃지 않는 것으로 나타났습니다.

프로파일 가능성은 다차원 가능성 함수와 단일 관심 매개 변수가있을 때 편리합니다. 각 고정 T (관심 매개 변수)에서 방해 요소 S를 MLE로 대체하여 지정합니다 (예 : L (T) = L (T, S (T))). 이 방법으로 얻은 MLE에 잠재적 인 편향이 있지만 실제로는 잘 작동 할 수 있습니다. 한계 우도는이 편견을 교정합니다.

— ars
소스