일관된 견적 도구와 편향되지 않은 견적 도구의 차이점은 무엇입니까?

125

아무도 이걸 이미 묻지 않은 것 같습니다.

추정자를 논의 할 때 자주 사용되는 두 가지 용어는 "일관성"및 "편견없는"입니다. 내 질문은 간단합니다. 차이점은 무엇입니까?

이러한 용어의 정확한 기술적 정의는 상당히 복잡하며 그 의미에 대한 직관적 인 느낌을 얻기가 어렵습니다 . 좋은 견적 도구와 나쁜 견적 도구를 상상할 수는 있지만 어떤 견적 도구가 다른 조건이 아닌 어떤 조건을 만족시킬 수 있는지 보는 데 어려움을 겪고 있습니다.

unbiased-estimator estimators consistency

— 수학적 오키드
소스

일관된 추정기 에 관한 Wikipedia 기사의 첫 번째 그림을 보았 습니까?이 차이점을 구체적으로 설명 하시겠습니까?

— whuber

일관성과 편견에 대한 기사를 읽었지만 여전히 그 차이점을 이해하지 못합니다. (그림은 추정값이 일관되지만 편향되어 있지만 그 이유를 설명하지는 않는다는 주장을 나타냅니다 .)

— MathematicalOrchid

설명의 어느 부분에 도움이 필요하십니까? 캡션은 시퀀스의 각 추정값이 바이어스됨을 나타내며 시퀀스가 왜 일관성이 있는지 설명합니다. 이 추정치의 편향이 그림에서 어떻게 보이는지에 대한 설명이 필요합니까?

— whuber

+1이 답변 중 하나를 따르는 댓글 스레드는 주제에 대해 밝혀진 내용과 온라인 커뮤니티가 오해를 폭로하고 수정하기 위해 어떻게 노력할 수 있는지에 대한 흥미로운 예입니다.

— whuber

관련 : stats.stackexchange.com/questions/173152/…

— kjetil b halvorsen

답변:

126

너무 많은 기술 언어를 사용하지 않고 두 용어를 정의하려면 다음을 수행하십시오.

추정치는 표본 크기가 증가함에 따라 추정치 (추정자가 생성 한)가 추정되는 모수의 실제 값으로 "수렴"하는 경우에 일관 됩니다. 좀 더 정확하게 일관성을 유지한다는 것은 표본 크기가 증가함에 따라 추정기의 표본 분포가 실제 모수 값에 점점 더 집중됨을 의미합니다.
평균적으로 실제 모수 값에 도달 하면 추정기는 편향되지 않습니다. 즉, 추정기의 샘플링 분포의 평균은 실제 모수 값과 같습니다.
두 사람은 해당되지 않습니다 Unbiasedness는 추의 샘플링 분포의 기대 값에 대한 진술이다. 일관성 은 샘플 크기가 증가함에 따라 "추정기의 샘플링 분포가 진행되는 위치"에 대한 설명입니다.

한 조건이 만족 될 수는 있지만 다른 조건은 그렇지 않을 수도 있습니다. 두 가지 예를 들어 보겠습니다. 두 예 모두 모집단 의 표본 을 고려하십시오 . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

편견은 없지만 일관성이 없다 : 추정한다고 가정하자 . 그러면 은 이기 때문에 의 편향 추정량입니다 . 그러나 표본 크기가 증가함에 따라 분포가 주위에 더 집중되지 않기 때문에 은 일관성이 없습니다. 항상 ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
일관성이 있지만 편견이없는 경우 : 추정한다고 가정합니다 . 최대 우도 추정값은 여기서 표본 평균입니다. 여기서 , 는 여기 의 정보를 사용하여 도출 할 수 있습니다 . 따라서 유한 샘플 크기에 대해 가 바이어스됩니다. 또한 쉽게 도출 할 수 있습니다. 분포 $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ 평균이 로 수렴하고 분산이 으로 수렴 되므로 샘플 크기가 증가함에 따라 점점 더 집중되고 있습니다 . ( 참고 : 이것은 here 답변에 사용 된 것과 동일한 인수를 사용하여 일관성을 증명 합니다. ) $\sigma^2$ $\sigma^2$ $0$

— 매크로
소스

(+1) 모든 MLE이 일치하지는 않습니다. 일반적인 결과는 MLE 시퀀스에 일관된 하위 시퀀스가 있다는 것입니다. 적절한 일관성을 위해서는 식별 가능성과 같은 몇 가지 추가 요구 사항이 필요합니다. 일치하지 않는 MLE의 예는 특정 변수 오류 모델 ( "최대 값"이 중철 점 인 것으로 나타남)에서 발견됩니다.

— MånsT

글쎄, 내가 언급 한 EIV MLE는 가능성이 제한되지 않고 최대 값이 존재하지 않기 때문에 좋은 예가 아닐 수 있습니다. ML 접근 방식이 어떻게 실패 할 수 있는지에 대한 좋은 예입니다. :) 지금 관련 링크를 제공 할 수 없어서 죄송합니다. 휴가 중입니다.

— MånsT

@ MånsT 감사합니다. 필요한 조건은 링크에 요약되어 있지만 문구에서 명확하지 않았습니다.

— Macro

참고 사항 :이 경우 링크의 조건과 달리 매개 변수 공간은 컴팩트하지 않으며 로그 가능성 오목 wrt 자체 도 아닙니다 . 명시된 일관성 결과는 여전히 유효합니다.

σ^{2}

$\sigma^2$

— 추기경

맞습니다, @cardinal, 그 참조를 삭제하겠습니다. 그것은 충분히 그 분명 과 하지만 난에서 이탈하지 않으려는 이것을 의 일관성을 증명하는 연습으로 바꾸어 .

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— 매크로

추정기의 일관성은 표본 크기가 클수록 추정치가 모수의 실제 값에 더 가깝고 더 가깝다는 것을 의미합니다. 편견은 유한 샘플 속성으로, 샘플 크기가 증가해도 영향을받지 않습니다. 예상 값이 실제 모수 값과 같으면 추정값이 편향되지 않습니다. 일관성은 점근 적이며 대략 동일하고 정확하지는 않지만 모든 샘플 크기에 적용됩니다.

추정값이 공정하지 않다는 것은 크기가 표본을 많이 가져와 매번 추정값을 계산할 때 이러한 모든 추정값의 평균이 실제 모수 값에 가까워지고이 횟수가 증가함에 따라 더 가까워진 다는 것을 의미합니다. . 표본 평균은 일관되고 편향되지 않습니다. 표준 편차의 표본 추정치는 치우 치지 만 일관됩니다. $n$

@cardinal 및 @Macro에 대한 의견에 대한 토론에 따라 업데이트하십시오. 아래에 설명 된 것처럼 추정기가 강하게 일관성을 유지하기 위해 분산이 0으로 갈 필요가 없으며 병행 현상이 발생하지 않아도되는 병리학 적 사례가 있습니다. 0도.

— 마이클 체 르닉
소스

귀하의 답변에 대해서는 @MichaelChernick +1이지만 귀하의 의견과 관련하여 일관된 추정량의 분산이 반드시 이 될 필요는 없습니다 . 예를 들어 이 , 의 표본 인 경우 는 (strong) 일관된 추정량입니다. 모든 대해 이지만 입니다.

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator : (2)는 바이어스는 평균이 각각 존재하는 경우에도, 중, 제로로 축소 할 필요가

n

$n$

— 추기경

마이클, 대답의 본문은 꽤 좋습니다. 나는 당신의 첫 번째 의견에 혼란이 도입되었다고 생각합니다. 그것은 명백히 거짓이며 혼란의 잠재적 인 두 가지 진술로 이어집니다. (실제로 많은 학생들이 다양한 수렴 모드와 그 의미 사이의 잘못된 묘사로 인해 이러한 오해를 가진 입문 대학원 통계 수업을 듣지 않습니다. 마지막 의견은 가혹한 측면에서 약간 언급 될 수 있습니다.)

— 추기경

불행히도 첫 번째 주석의 첫 두 문장과 두 번째 주석 전체가 허위입니다. 그러나, 나는 당신에게 이러한 사실들을 더 확신 시키려고 노력하는 것이 유익하지 않다고 생각합니다.

— 추기경

여기에 터무니없는 말이지 만 간단한 예가 있습니다. 아이디어는 무엇이 잘못 될 수 있고 왜 그런지를 정확하게 설명 하는 것입니다. 그것은 않는 실용적인 응용 프로그램을. 예 : 유한 초 순간의 전형적인 iid 모델을 고려하십시오. 하자 무관 및 확률로 각각 와 함께, 그렇지 않으면 제로 임의한다. 그런 다음 은 편향되지 아래 에 경계가 묶여 있으며

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ 거의 확실합니다 (매우 일관됩니다). 나는 편견에 관한 사례를 연습으로 떠난다.

— 추기경

-5

일관성 : [샘플 크기가 증가함에 따라 추정치에 의해 생성 된 추정치가 추정되는 모수의 실제 값으로 "수렴 됨"전에 매우 잘 설명 됨

Unbiasedness : Gauss-Markov Theorem으로 알려진 1-5 개의 MLR 가정을 만족시킵니다.

선형성,
무작위 샘플링
조건부 평균 오류 기대치 없음
완벽한 공선 성이 없음
동종 요법

그런 다음 추정기는 BLUE라고합니다 (최선 선형 편향 추정기

— 니콜 리나 랑 구라
소스