선형 모델의 경우 BLUE (OLS 솔루션) 이외의 다른 편견없는 추정량

선형 모델의 경우 OLS 솔루션은 매개 변수에 가장 적합한 선형 편향 추정기를 제공합니다.

물론 우리는 융기 회귀와 같은 낮은 분산에 대한 편견으로 거래 할 수 있습니다. 그러나 내 질문은 편견이 없다는 것입니다. 편향되지는 않지만 OLS 추정 매개 변수보다 분산이 큰 다소 일반적으로 사용되는 다른 추정기가 있습니까?

거대한 데이터 세트를 가지면 물론 하위 샘플링을 수행하고 더 적은 데이터로 매개 변수를 추정하고 분산을 증가시킬 수 있습니다. 나는 이것이 가상적으로 유용 할 수 있다고 생각합니다.

BLUE Estimators에 대해 읽었을 때 더 나쁜 대안이 제공되지 않기 때문에 이것은 수사적인 질문입니다. 더 나쁜 대안을 제공하면 사람들이 BLUE 견적의 힘을 더 잘 이해할 수 있다고 생각합니다.

— 구 메오
소스

최대 우도 추정치는 어떻습니까? 예를 들어 , 상대적으로 낮은 자유도 모수 ( 또는 가 재무 수익에 특징적 일 수 있음 를 사용하여 분포 에서 데이터를 샘플링한다고 생각 하면 최대 가능성 추정기는 OLS와 일치하지 않지만 추측합니다. 여전히 편견이 없을 것입니다.

t

$t$

t (3)

$t(3)$

t (4)

$t(4)$

— Richard Hardy

관련 : andrewgelman.com/2015/05/11/…

— kjetil b halvorsen

@RichardHardy, 나는 또한 당신이 예상 한 결과로 MLE을 시도했습니다.

— Christoph Hanck

명심해야 할 한 가지 예는 Gauss-Markov 가정이 충족 될 때 필요하지 않지만 (통계학자가 해당 사실을 알지 못하여 적용 할 수 있으므로 여전히 GLS를 적용 할 때) 관측치에 다르게 가중치를 부여하는 일부 GLS 추정기입니다.

설명을 위해 상수에서 $y_i$ , $i=1,\ldots,n$ 의 회귀를 고려하십시오 (일반 GLS 추정기로 일반화). 여기서, $\{y_i\}$ 는 평균 $\mu$ 및 분산 $\sigma^2$ 가진 모집단의 랜덤 표본으로 가정합니다 .

그런 다음, 우리는 OLS 그냥 것을 알고 , 표본 평균. 각 관찰 무게 가중된다는 점을 강조하기 위해 로 물품이 $\hat\beta=\bar y$ $1/n$

\hat{β} = \sum_{i = 1}^{n} \frac{1}{n} y_{i} .

$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$ 이는 그 잘 알려진

V a r (\hat{β}) = σ^{2} / n

$Var(\hat\beta)=\sigma^2/n$ .

이제

\tilde{β} = \sum_{i = 1}^{n} w_{i} y_{i},

$\tilde\beta=\sum_{i=1}^nw_iy_i,$ 로 쓸 수있는 다른 추정기를 고려하십시오

여기서 가중치는

\sum_{i} w_{i} = 1

$\sum_iw_i=1$ 입니다. 이를 통해

와 같이 추정값이 편향되지 않도록합니다.

E (\sum_{i = 1}^{n} w_{i} y_{i}) = \sum_{i = 1}^{n} w_{i} E (y_{i}) = \sum_{i = 1}^{n} w_{i} μ = μ .

$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$ 모든

대해

w_{i} = 1 / n

$w_i=1/n$ (이 경우 OLS로 축소됨)이 아닌 한, 예를 들어 라그랑지안을 통해 표시 되지 않는 한 분산은 OLS의 분산을 초과합니다.

i

$i$

\begin{aligned} L & = V (\tilde{β}) - λ (\sum_{i} w_{i} - 1) \\ = \sum_{i} w_{i}^{2} σ^{2} - λ (\sum_{i} w_{i} - 1), \end{aligned}

$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$

w_{i}

$w_i$

2 σ^{2} w_{i} - λ = 0

$2\sigma^2w_i-\lambda=0$

i

$i$

\partial L / \partial λ = 0

$\partial L/\partial\lambda=0$

\sum_{i} w_{i} - 1 = 0

$\sum_iw_i-1=0$

λ

$\lambda$

w_{i} = w_{j}

$w_i=w_j$

w_{i} = 1 / n

$w_i=1/n$

아래 코드를 사용하여 만든 작은 시뮬레이션의 그래픽 그림은 다음과 같습니다.

$y_i$ In log(s) : NaNs produced

$w_i=(1\pm\epsilon)/n$

후자의 세 가지가 OLS 솔루션보다 성능이 우수하다는 것은 BLUE 속성에 의해 즉시 암시되지 않습니다 (적어도 나에게는 그렇지는 않습니다). 선형 추정기인지 확실하지 않기 때문에 (MLE과 Huber가 편향되어 있지 않은지)

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)

— 크리스토프 행크
소스

산뜻한! 나는 이것이 매우 간단한 예시적인 예라고 생각합니다. 내가 생각해 낸 것보다 조금 더 일반적입니다. 사람들이 빈번한 환경에서 견적에 대해 배우면 이러한 종류의 예제가 종종 누락된다고 생각하여 개념을 더 잘 이해하는 데 실제로 도움이됩니다.

— Gumeo

W = \sum_{i = 1}^{n} w (e_{i})

$W=\sum_{i=1}^n w(e_i)$

e_{i}

$e_i$

w

$w$

w (0) = 0

$w(0)=0$

@kjetilbhalvorsen, 이제 Huber 추정기가 포함되어 실제로 실제로 잘 수행됩니다.

— Christoph Hanck