편향된 최대 우도 추정치의 직관적 추론

25

바이어스 최대 가능성 (ML) 추정값 에 혼란이 있습니다 . 전체 개념의 수학은 나에게는 분명하지만, 그 배후의 직관적 추론을 알아낼 수는 없습니다.

분포에서 추출한 표본이있는 특정 데이터 세트 (자체가 우리가 추정하고자하는 매개 변수의 함수 임)를 고려할 때 ML 추정기는 데이터 세트를 생성 할 가능성이 가장 높은 매개 변수의 값을 산출합니다.

나는 편향된 ML 추정값을 직관적으로 이해할 수 없다 : 매개 변수에 대해 가장 가능성이 높은 값은 어떻게 잘못된 값에 대한 편향으로 매개 변수의 실제 값을 예측할 수 있는가?

maximum-likelihood bias

— ah
소스

평신도 용어

— 추정치

나는 여기에 편견에 초점을두면이 질문과 제안 된 복제본을 구별 할 수 있다고 생각합니다.

— Silverfish

14

ML 추정기는 데이터 세트에서 발생할 가능성이 가장 높은 모수 값을 산출합니다.

가정하면 ML 추정기는 데이터 세트를 생성 할 가능성이 가장 큰 모수의 값입니다.

"매개 변수에 대한 가장 가능성있는 값이 잘못된 값에 대한 편향으로 매개 변수의 실제 값을 어떻게 예측할 수 있습니까?"라는 관점에서 편향된 ML 추정값을 직관적으로 이해할 수 없습니다.

바이어스는 샘플링 분포에 대한 기대치입니다. "데이터를 생성 할 가능성이 높다"는 샘플링 분포에 대한 기대가 아닙니다. 그들은 왜 함께 갈 것으로 예상됩니까?

그들이 반드시 상응하는 것은 아니라는 것이 놀라운 근거는 무엇입니까?

간단한 MLE 사례를 고려하고 해당 사례에서 차이점이 어떻게 발생하는지 숙고하십시오.

예를 들어, 의 유니폼에 대한 관찰을 고려하십시오 . 가장 큰 관측치는 (필수적으로) 매개 변수보다 크지 않으므로 매개 변수는 최소한 가장 큰 관측치만큼 큰 값만 취할 수 있습니다. $(0,\theta)$

의 가능성을 고려할 때 , 가 가장 큰 관측치에 가까울수록 (확실히) 커집니다 . 따라서 가장 큰 관측 에서 최대화 됩니다 . 그것은 당신이 얻은 샘플을 얻을 확률을 최대화하는 의 추정치입니다 . $\theta$ $\theta$ $\theta$

여기에 이미지 설명을 입력하십시오

그러나 반면에 가장 큰 관측 값은 (확률 1) 실제 값보다 작기 때문에 편향되어야합니다 . 샘플 자체에 의해 아직 배제되지 않은 다른 추정값은 샘플보다 더 커야하며, (이 경우에는 명백하게) 샘플을 생성 할 가능성이 적어야합니다. $\theta$ $\theta$

에서 가장 큰 관측치의 기대 값 은 $U(0,\theta)$ , 그것이 unbias에 일반적인 방법의 추정으로 취할 수 있도록: $\frac{n}{n+1}$ $\theta$ , 여기서은 가장 큰 관측치입니다. $\hat\theta=\frac{n+1}{n}X_{(n)}$ $X_{(n)}$

이것은 MLE의 오른쪽에 있으므로 가능성이 낮습니다.

— Glen_b-복귀 모니카
소스

답변 주셔서 감사합니다. 첫 부분에 대해, 나는 나 자신을 잘못 표현했다. 나는 기본적으로 당신이 말한 것을 의미했습니다. 두 번째 부분에 대한 답을 바탕으로 동일한 분포에서 가져온 다른 데이터 집합이 주어지면 ML 추정기가 다른 바이어스를 초래할 것이라고 결론 지을 수 있습니까? ML 추정기는 데이터를 "가장 가능성이 높은"것으로 추정하기 때문입니다. 데이터를 변경하면 다른 추정기가 데이터를 생성 할 수 있습니다. 그 맞습니까?

— ssah

모집단 분포의 형태가 변경되지 않으면 추정기는 변경되지 않습니다. 일부 다른 추정치 는 다른 샘플로 생성 될 것이며, 그 바이어스의 양은 일반적으로 다릅니다.-모집단이 동일하더라도 바이어스는 일반적으로 샘플 크기와 관련이 있습니다. ... (ctd)

— Glen_b-복지국 Monica

(ctd) ...

$\quad$

m

$m$

n

$n$

θ

$\theta$

비 편향 추정값과 ML 추정값의 차이를보기 위해 표준 예제를 잘 사용합니다.

— jwg

6

$\beta^{MLE}$ $\beta$ $\beta$ $\beta^{MLE}$

MLE는 무의식적으로 만 편향되어 있으며 종종 한정된 샘플에서 더 잘 동작하도록 추정기를 조정할 수 있습니다. 예를 들어, 임의 변수의 분산에 대한 MLE는 한 예이며 여기서 곱합니다. $\frac{N}{N-1}$

— 디미트리 V. 마스터 로프
소스

첫 부분의 실수로 죄송합니다. 나는 그것을 편집하고 고쳤다. 그러나 MLE에 대해 말한 것에 대해 왜 비 점근 증 사례에서 MLE가 편향 될까요?

— ssah

2

"더 나은"은 당신이 보는 것에 달려 있습니다. 베셀의 수정으로 인해 편견이 없지만 편견이 자동으로 "더 나은"것은 아닙니다 (예 : MSE가 더 나쁩니다. 왜 작은 MSE보다 편견을 선호해야합니까?). 편견이 더 우수하다고 주장 될 수도 있지만, ceteris paribus 이지만 불행히도 ceteris 는 paribus 가 아닙니다 .

— Glen_b-복지 주 모니카

내 이해는 MLE과 Cramer-Rao 하한 간의 관계를 통해 편향 추정기가 가장 편향되지 않는 것으로 나타났습니다.

— Dimitriy V. Masterov

@ssah 나는 공식에서 실제 평균 대신 샘플 평균을 사용하고 있기 때문이라고 들었습니다. 솔직히 말해서, 나는이 설명이 특히 직관적이라는 것을 결코 발견하지 못했습니다. 왜냐하면 평균의 MLE 추정값이 편견이 없다면 왜 이것이 잘못 될까요? 나는 보통 의심의 여지가있는 시뮬레이션으로 휴식을 취합니다.

— Dimitriy V. Masterov

5

여기 내 직감이 있습니다.

바이어스는 정확도 의 척도 이지만 정밀도 라는 개념도 있습니다.

여기에 이미지 설명을 입력하십시오

이상적인 세계에서, 우리는 정확하고 정확한 예측을 얻습니다. 즉, 항상 황소의 눈에 부딪칩니다. 불행히도 불완전한 세상에서는 정확성과 정밀도의 균형을 유지해야합니다. 때때로 우리는 정확성을 높이기 위해 약간의 정확도를 줄 수 있다고 생각할 수도 있습니다. 따라서 추정자가 바이어스된다는 사실이 그것이 나쁘다는 것을 의미하지는 않습니다. 더 정확할 수 있습니다.

— 악사 칼
소스