최대 가능성과 예상 가능성이 아닌 이유는 무엇입니까?

모수의 최대 우도 추정값을 얻는 것이 왜 그렇게 일반적입니까? 그러나 예상 우도 모수 추정치 에 대해 거의 듣지 못합니다 (즉, 우도 함수 모드 가 아닌 예상 값을 기준으로 )? 이것은 주로 역사적 이유나보다 실질적인 기술적 또는 이론적 인 이유 때문입니까?

최대 우도 추정치보다는 예상 우도 추정치를 사용하는 데 상당한 장점 및 / 또는 단점이 있습니까?

예상 가능성 추정치 가 일상적으로 사용되는 영역이 있습니까?

— 제이크 웨스트 폴
소스

어떤 확률 분포와 관련하여 기대되는 가치? ML은 일반적으로 (a) 데이터가 제공 (고정)되고 (b) 매개 변수가 (알 수없는) 상수로 취급되는 비 베이지안 분석에 적용됩니다. 무작위 변수는 전혀 없습니다.

— whuber

답변:

제안 된 방법은 (가능성을 밀도로 정규화 한 후) 모형의 모든 모수에 대해 평평한 값을 사용하여 모수를 추정하고 사후 분포의 평균을 추정값으로 사용하는 것과 같습니다. 적절한 사후 분포로 끝나지 않기 때문에 평평한 사전을 사용하면 문제가 발생할 수 있습니다. 여기에서 상황을 어떻게 교정 할 것인지 모르겠습니다.

그러나 빈번한 상황에 머무르는 경우, 가능성은 대부분의 상황에서 확률 밀도를 구성하지 않으며 임의의 왼쪽이 없으므로 기대를 취하는 것이 의미가 없기 때문에이 방법은 의미가 없습니다. 이제 추정치를 구한 후 가능성에 적용하는 연산으로 이것을 공식화 할 수는 있지만 (추정치가 실제로 존재하는 경우)이 추정기의 빈번한 특성이 어떤지 잘 모르겠습니다.

장점 :

이것은 MLE가 실제로 존재하지 않는 경우에 대한 추정치를 제공 할 수 있습니다.
완고하지 않으면 베이지안 설정으로 이동할 수 있습니다 (그리고 아마도이 유형의 추정치를 추론하는 자연스러운 방법 일 것입니다). 좋아, 당신의 견해에 따르면 이것은 유리하지 않을 수도 있지만 그것은 나에게 달려 있습니다.

단점 :

이것은 존재하지 않을 수도 있습니다.
볼록한 모수 공간이 없으면 추정값이 모수에 유효한 값이 아닐 수 있습니다.
이 과정은 매개 변수화에 영향을 미치지 않습니다. 프로세스는 매개 변수보다 우선 순위를 매기는 것과 동일하기 때문에 해당 매개 변수의 내용이 달라집니다 ( 를 매개 변수로 사용하거나 사용하는 것에 대해 이야기하고 ) $\sigma$ $\sigma^2$

— 데이 슨
소스

+1 모수의 균일 한 분포를 가정 할 때의 한 가지 큰 문제는 ML 문제가 재편 수화에 대한 솔루션의 불변성을 활용하여 ML 문제가 재구성되는 경우가 많다는 것입니다. 따라서 모수가 균일 한 분포를 갖는 것처럼 "예상"을 취하는 것은 임의의 결과물이며 실수로 의미가없는 결과를 초래할 수 있습니다.

— whuber

좋은 지적! 나는 또한 그것을 언급하려고했지만 나머지를 입력하는 동안 그것을 올리는 것을 잊었다.

— Dason

기록적으로, 최대 가능성은 매개 변수화에도 변하지 않습니다.

— Neil G

@NeilG 그래? 어쩌면 우리는 다른 아이디어를 언급하고있을 것입니다. 그 말을 할 때 무슨 뜻입니까?

— Dason

아마도 실수를했을 가능성이 있지만 확률 을 나타내는 모수가 있다고 가정하십시오 . 데이터는 매개 변수 분포 가능성을 유도합니다 . 대신 확률 사용하여 모델을 매개 변수화 한 경우 동일한 데이터는 매개 변수 로 베타-프라임 가능성을 유도합니다 . 첫 번째 경우, 모드는 . 후자의 경우, 모드는 되는 대응하는 확률, .

p \in [0, 1]

$p \in [0,1]$

α = β = 2

$\alpha=\beta=2$

o \in [0, \infty)

$o \in [0, \infty)$

α = β = 2

$\alpha=\beta=2$

\frac{1}{2}

$\frac12$

\frac{1}{3}

$\frac13$

\frac{1}{4}

$\frac14$

— Neil G

한 가지 이유는 최대 우도 추정이 더 쉽다는 것입니다. 우도의 미분을 모수로 제로로 설정하고 모수를 구합니다. 기대하는 것은 각 매개 변수의 가능성 시간을 통합하는 것을 의미합니다.

또 다른 이유는 지수 패밀리의 경우 최대 가능성 추정이 예상을 취하는 것과 일치하기 때문입니다. 예를 들어, 최대 가능성 정규 분포 피팅 데이터 포인트 는 평균 및 두 번째 모멘트 갖습니다 . $\{x_i\}$ $\mu=E(x)$ $\chi=E(x^2)$

경우에 따라 최대 우도 모수는 예상 우도 모수와 같습니다. 예를 들어, 상기 정규 분포의 예상 가능성 평균은 평균에 대한 이전이 정규적이고 정규 분포의 모드와 평균이 일치하기 때문에 최대 가능성과 동일합니다. 물론 다른 매개 변수에는 해당되지 않습니다 (그러나 매개 변수화).

가장 중요한 이유는 아마도 매개 변수에 대한 기대를 원하는 이유 일 것입니다. 일반적으로 모델을 학습하고 있으며 매개 변수 값만 있으면됩니다. 단일 값을 반환하려는 경우 최대 가능성이 반환 할 수있는 최선의 방법이 아닙니까?

— 닐 G
소스

마지막 줄과 관련하여 : 아마도 – 아마 아닐 수도 있습니다. 손실 기능에 따라 다릅니다. 나는 방금 Jake의 아이디어를 가지고 놀았고 Jake ~의 방법 인 max (X) * (n-1) / (n-2)가 더 나은 X ~ Unif (0, theta)의 경우처럼 보입니다. MLE 인 max (X)보다 MSE입니다 (적어도 시뮬레이션은 n> = 5 인 경우이를 의미합니다). 분명히 Unif (0, theta) 예제는 일반적이지 않지만 추정자를 얻는 다른 적절한 방법이 있음을 보여줍니다.

— Dason

@Dason 좋은 ( 즉 , 허용 가능한) 추정기 를 찾는 표준 (그리고 강력한) 잦은 기술 중 하나 는 다양한 이전에 대한 Bayes 추정기를 계산하는 것입니다. ( 예를 들어 , 포인트 추정에 관한 Lehmann의 저서 참조 ) 당신은 그러한 추정기 중 하나를 재발견했습니다.

— whuber

답변 감사합니다 Neil! 분화를 통해 모수 추정값을 얻는 것이 통합에 비해 쉬우 며, 간단한 문제 (예 : 펜과 종이 수준 또는 너무 멀리 있지 않음)에서 이것이 어떻게 적용되는지 확실히 알 수 있습니다. 그러나 수치 적 방법에 의존해야하는 훨씬 복잡한 문제의 경우 실제로 통합을 사용하는 것이 쉽지 않을까요? 실제로 MLE를 찾는 것은 매우 어려운 최적화 문제에 해당 할 수 있습니다. 적분을 수치 적으로 근사화하는 것이 실제로 계산 상 쉽지는 않습니까? 아니면 대부분의 경우에 해당되지 않습니까?

— Jake Westfall

@JakeWestfall : 숫자 방법을 사용하여 매개 변수 공간을 어떻게 기대하십니까? 매개 변수 공간이 큰 복잡한 모형 공간에서는 각 모형의 확률을 평가하는 전체를 통합 할 수 없습니다 (매개 변수 설정). 일반적으로 EM 단계를 수행하여 M 단계에서 매개 변수 추정이 발생하여 각 매개 변수가 "간단한 문제"중 하나가되고 최대 가능성 매개 변수가 충분한 통계에 대한 간단한 기대치가되도록합니다.

— Neil G

@NeilG 글쎄, Dason은 내가 논의하고있는 방법은 (정규화 후) 평평하고 평평한 후 사후 평균을 추정값으로하여 베이지안 추정과 같다고 지적했다. 따라서 "숫자 법을 사용하여 매개 변수 공간을 어떻게 예상합니까?" 다음 방법 중 하나를 사용할 수 있다고 생각한 것 같습니다. bayesian-inference.com/numericalapproximation 이것에 대한 생각이 있습니까?

— Jake Westfall

이 접근법은 존재하며이를 최소 대비 추정이라고합니다. 관련 논문의 예 (및 내부에서 다른 참조 참조) https://arxiv.org/abs/0901.0655

— 다닐라 도로 신
소스