편견없는 추정자가 평신도에게 무엇을 설명 하는가?

10

가정 에 대한 편견 추정이다 . 물론 입니다. $\hat{\theta}$ $\theta$ $\mathbb{E}[\hat{\theta} \mid \theta] = \theta$

이것을 평신도에게 어떻게 설명합니까? 당신의 값의 무리 평균 경우 과거에는 내가 말한 것은 샘플 크기가 커질수록, 당신의 더 나은 근사 얻을, . $\hat{\theta}$ $\theta$

나에게 이것은 문제가있다. 나는 내가 실제로 여기에 설명하고있어되는이 현상이라고 생각 점근 적으로 편향되는 단독, 편견이 아닌, 즉, 여기서 는 종속 될 수 있습니다.

lim_{n \to \infty} E [\hat{θ} ∣ θ] = θ,

$\lim_{n \to \infty}\mathbb{E}[\hat{\theta} \mid \theta] = \theta\text{,}$

\hat{θ}

$\hat{\theta}$

n

$n$

그렇다면 편견없는 편견이 무엇인지 어떻게 설명 할 수 있습니까?

— 클라리넷
소스

2

그것은 정확히 옳은 견적을 내리는 방법입니다. 일반적으로 정확하지는 않지만 전체적으로 과소 평가를 자주 과소 평가하지는 않습니다. 나는 이것이 더 같은 소리를 만드는 것을 깨닫게

θ

$\theta$ 의 중간입니다

\hat{θ}

$\hat \theta$ 평균보다하지만 난 그게 핵심 포인트를 캡처 생각합니다.

— jwimberley

3

나는 이것에 대한 "세 통계 학자 사냥"농담 ( 여기 에서 버전 )을

— 좋아

2

당신의 설명은 많은 수의 법칙이며, 그것은 편견과 아무 관련이 없습니다.

— 시안

@ Xi'an : 추정값이 치우친 경우 한계는 가 아닙니다 .

θ

$\theta$

— user2357112는

@ user2357112 : 내 이해 (그리고 지금까지 답변으로 표시된 것과 같이)에서 표본 크기가 커짐에 따라 이 무한대로 증가 따라 , 즉 관측 값을 기반으로 한 추정기를 고려한다는 의미 입니다. 이제 문장이 다르게 해석 될 수 있음을 알았습니다.

{\hat{θ}}_{n}

$\hat\theta_n$

n

$n$

n

$n$

— 시안

14

기술적으로 표본 크기가 증가함에 따라 추정값이 실제 값에 가까워 진다고 말할 때 기술적으로 설명하는 것은 통계 추정기의 일관성 또는 수렴입니다. 이 수렴은 확률 수렴 일 수 있습니다. 즉 일 때마다 이거나 이라는 수렴이 확실합니다 . 한계가 실제로 어떻게 내부에 있는지 확인 $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0$ $\epsilon > 0$ $P(\lim_{n \to \infty} |\hat{\theta}_n - \theta| > \epsilon) = 0$ 두 번째 경우의 확률. 후자의 형태의 수렴은 다른 것보다 강력하지만, 둘 다 본질적으로 동일한 것을 의미합니다. 즉, 더 많은 샘플을 수집 할 때 추정치가 추정치에 더 가깝고 가까워지는 경향이 있습니다.

미묘한 점은 여기입니다 경우에도 , 그것이 하나 확률 또는 거의 확실 하지 일반적으로 사실이 이므로 일관성은 제안한 것처럼 점근 적 편견을 의미하지 않습니다. 랜덤 변수 시퀀스 (함수)를 기대 시퀀스 (적분)로 이동할 때주의해야합니다. $\hat{\theta}_n \to \theta$ $\lim_{n \to \infty} \text{E}(\hat{\theta}_n) = \theta$

편견이없는 모든 기술적 인 내용은 입니다. 따라서 누군가에게 설명 할 때 동일한 조건에서 실험을 여러 번 반복하면 추정치의 평균값이 실제 값에 가깝습니다. $\text{E}(\hat{\theta}_n) = \theta$

— dsaxton
소스

5

평신도에 대한 당신의 비전은 매우 훌륭합니다. 그는 "확률의 수렴", "수렴으로", 한계가 무엇인지 알고 있습니다 ... 미래의 사람입니다.

— Aksakal

2

나는 평신도가 이러한 것들을 알고 있다고 생각하지 않는다. 나는 원래 게시물에서 약간의 오해를 수정하려고 노력했다. 평신도에게 사물을 설명하는 방법에 대한 나의 제안은 마지막 단락에 있습니다.

— dsaxton

그러나 마지막 문단은 추정의 일관성과 편견 개념을 뒤섞 았는데, 아마도 OP의 혼동 중 하나 일 것입니다.

— Aksakal

3

어떻게 요? 동일한 조건에서 실험을 반복하면 표본 크기가 고정되어 일관성에 대해 이야기하지 않습니다.

— dsaxton

1

네,

— 그렇습니다.

9

일관성과 편견을 혼동하는지 확실하지 않습니다.

일관성 : 표본 크기가 클수록 추정기의 분산이 작아집니다.

샘플 크기에 따라 다름

편견 없음 : 추정기의 예상 값이 모수의 실제 값과 같습니다.

샘플 크기에 의존하지 않습니다

그래서 당신의 문장

당신의 값의 무리 평균 경우 샘플 크기가 커질수록, 당신은 더 나은 근사 얻을 . $\hat\theta$ $\theta$

정확하지 않습니다. 표본 크기가 무한대가 되더라도 편견없는 추정기는 편견없는 추정기를 유지합니다. 예를 들어 평균을 "평균 +1"로 추정하면 10 억 개의 관측 값을 표본에 추가 할 수 있으며 추정기는 여전히 실제 값을 제공하지 않습니다.

여기서 일관성과 편견의 차이점에 대한 더 심오한 토론을 찾을 수 있습니다.

일관된 추정기와 비 편향 추정기의 차이점은 무엇입니까?

— 페르 디
소스

2

사실 일관성에 대해서는 아무것도 모르지만 그럼에도 불구하고 감사합니다.

— Clarinetist

1

@Clarinetist Consistency 는 추정기 의 가장 중요한 속성 일 것입니다. 충분한 데이터를 가지고 있으면 정답에 임의로 접근 할 수 있습니다.

— Matthew Gunn

7

@Ferdi는 이미 귀하의 질문에 대한 명확한 답변을 제공했지만 조금 더 공식적으로 작성합시다.

하자 분포 독립적이고 동일하게 분포 확률 변수의 샘플 수 . 추정기 를 의 함수로 사용하여 알려지지 않았지만 고정 수량 를 추정하는 데 관심이 있습니다. 는 랜덤 변수의 함수 이므로 추정 $X_1,\dots,X_n$ $F$ $\theta$ $g$ $X_1,\dots,X_n$ $g$

{\hat{θ}}_{n} = g (X_{1}, \dots, X_{n})

$\hat\theta_n = g(X_1,\dots,X_n)$

또한 임의 변수입니다. 우리는 편견을

b i a s ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\mathrm{bias}(\hat\theta_n) = \mathbb{E}_\theta(\hat\theta_n) - \theta$

추정기는 때 편향되지 않습니다 . $\mathbb{E}_\theta(\hat\theta_n) = \theta$

평범한 영어로 말하면 : 우리는 무작위 변수를 다루고 있기 때문에 그것이 변하지 않는 한 다른 표본을 취하면 다른 데이터와 다른 추정치를 관찰 할 수 있습니다. 그럼에도 불구하고, 추정 편향되지 않은 경우, 다른 평균 "예상치"추정치 " "이 "올바른" 것으로 예상 할 수 있습니다. 따라서 항상 옳지는 않지만 "평균적으로"맞습니다. 데이터와 관련된 임의성 때문에 항상 "올바른"것은 아닙니다. $\hat\theta_n$

다른 사람들이 이미 언급했듯이, 표본이 증가함에 따라 추정치가 추정량과 "가까워진다"는 사실, 즉 확률이 수렴 한다는 사실

{\hat{θ}}_{n} \overset{P}{\to} θ

$\hat\theta_n \overset{P}{\to} \theta$

편견이 아닌 추정기 일관성 과 관련이 있습니다. 편견만으로는 샘플 크기와 얻은 추정치와의 관계에 대해 아무 것도 알려주지 않습니다. 또한, 편향 추정기가 항상 사용 가능한 것은 아니며 바이어스 편향 추정기 보다 항상 선호 되는 것은 아닙니다 . 예를 들어 치우침-분산 트레이드 오프 를 고려한 후에 는 더 큰 치우침이지만 더 작은 분산으로 추정기를 사용하는 것을 고려할 수 있습니다. 따라서 "평균"은 실제 값과는 거리가 멀지 만 더 자주 (더 작은 분산) 추정됩니다. 바이어스되지 않은 추정기의 경우 실제 값에 더 가깝습니다.

— 팀
소스

(+1) : 편향되지 않은 추정기가 거의 없다는 사실을 가져 오는 좋은 점. 그리고 편견 / 편차 반대에 대한 언급.

— 시안

2

먼저 오해의 편견과 통계적 편견을 구분해야합니다. 특히 평신도의 경우.

평균, 평균 또는 모드를 모집단 평균 의 추정값으로 사용하는 선택 에는 종종 정치, 종교 또는 과학 이론 신념 편견이 포함됩니다. 어떤 추정기가 평균 의 가장 좋은 형태인지에 대한 계산은 통계적 편향에 영향을 미치는 산술과 다른 유형입니다.

분석법 선택 편향을 지나면 추정 방법에서 잠재적 편향을 해결할 수 있습니다. 먼저 편견을 가질 수있는 방법과 그 편견으로 쉽게 이끄는 메커니즘을 선택해야합니다.

표본 크기가 작을수록 예측이 명확하게 바이어스되는 정복 관점을 나누는 것이 더 쉬울 수 있습니다. 예를 들어, 샘플 스프레드 추정기의 n-1 계수 (vs 'n'계수)는 n이 3에서 2로 1로 떨어지면 분명해집니다!

그것은 모두 사람의 '레이'에 달려 있습니다.

— 필립 오클리
소스

나는 당신이 질문에있는 다른 종류의 편견에 대해 이야기하고있을 것 같습니다. 편견이 무엇인지 좀 더 구체적으로 설명해 주시겠습니까? "추정 방법의 잠재적 편향"에 대해 썼는데 이는 편향의 정의와 일치하지 않는 것 같습니다 (위의 질문과 답변에서 제공됨). 결국, 이것은 당신의 대답을 혼란스럽게 만듭니다 ...

— Tim

@ 팀, 첫 번째 단계는 인간의 편견을 확실히 다루는 것입니다. 두 번째 단계는 평신도의 가르침이 이미 방법 X (편견이없는 방법)를 선택하지 않았 음을 확인하기 위해 (그리고 1 단계의 문제를 부분적으로 따른 것)이었습니다. 예를 들어 표준 편차는 1 / n * sum ((x-mean) ^ 2)이지만,주의해서 모아서 모집단과 표본을 구분하지는 않습니다. 대부분의 '레이 인'은 샘플에 대한 생각하지 않는 1 / (N-1) 버전을 배웁니다. 한 가지 방법 만 있다면 평범한 사람은 선택할 수 없으므로 견적 자 편견은 문제가 될 수 없습니다. 그것은 Kruger-Dunning 단계입니다.

— Philip Oakley