일관되고 편향된 추정기의 예?

13

이것에 정말 충격. 견적 자 B가 일관되고 편향되는 예제 또는 상황을 정말로 원합니다.

mathematical-statistics estimation econometrics

— 지미 위글
소스

3

이것은 수업을위한 것입니까?

— Glen_b-복지 주 모니카

5

시계열 예제를 찾고있는 늦은 사양은 이미 제공된 훌륭한 답변을 무효화하기 때문에 이것을 다른 질문으로 변환 한다고 생각합니다 . 그러나 이것은 괜찮습니다. 새로운 질문을 할 수 있습니다.

— Sycorax는 Reinstate Monica가

6

질문을 변경 한 것으로 보입니다. 이미 몇 가지 답변이 이전 질문과 관련이 있으므로 질문을 다시 변경하고 시계열 모델에 대한 새 질문을 게시하는 것이 좋습니다.

— JohnK

3

시계열 관련 추정기를 요청하더라도 AR (1)에 대해 OLS를 언급 한 사람은 아무도 없습니다. 견적 도구는 편향되어 있지만 일관되며 표시하기가 쉽습니다 (구글링은 이에 대한 많은 자료를 제공합니다). 편집 : 그것은 시계열 요청이 늦게 추가 된

— 것처럼 보이며

2

여기에 간단한 예가 있습니다 :

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$ ,

ϵ \neq 0

$\epsilon \neq 0$ .

— dsaxton

23

내가 생각할 수있는 가장 간단한 예는 대부분의 사람들에게 직관적으로 오는 표본 분산, 즉 제곱 편차의 합 을 대신 $n$ 으로 나눈 것입니다 . $n-1$

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

임을 쉽게 알 수 있습니다. $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ 이므로 추정기가 바이어스됩니다. 그러나 제한된 분산을 가정 $\sigma^2$ , 바이어스가 제로로 진행하는 것이 관찰 $n \to \infty$ 때문에

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

또한 추정기의 분산이 0 인 경향이 있으므로 추정기 는 평균 제곱으로 수렴 합니다. 따라서 확률 도 수렴 합니다.

— 존
소스

1

이것은 유용한 예이지만 여기서 "편견"에 대한 다소 약한 해석을 적용 할 수 있습니다 (질문 자체에서 다소 모호하게 사용됨). 예를 들어, 일관성은 있지만 무증상으로 사라지지 않는 편향을 갖는 일련의 추정기 (etimator)와 같은 더 강력한 것을 요청할 수도 있습니다.

— 추기경

@cardinal 추정기가 일관되게하려면 편향이 무의식적으로 사라져야합니다.

— JohnK

3

아니. (자세한 내용은 댓글 스트림을 참조하십시오.)

— 추기경

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

n

$n$

n

$n$

n - 1

$n-1$

9

$\theta > 0$ $n$ $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

$\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

— 아드리안
소스

6

편견이없고 일관된 추정량 과 1로 수렴하는 시퀀스 ( 은 임의 일 필요는 없음)를 고려하고 형성 . 바이어스되지만 이 1로 수렴 되므로 일관성이 있습니다. $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

위키 백과에서 :

느슨하게 말하면, 매개 변수 의 추정값 은 매개 변수 의 실제 값으로 확률 적으로 수렴되면 일관성이 있다고합니다. $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

추정기의 편향은 다음과 같이 정의됩니다.

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

치우침은 실제로 0이 아니며 확률의 수렴은 그대로 유지됩니다.

— 사용자
소스

답변과 설명에 감사드립니다. 나는 지금 더 잘 이해하고있다. 감사합니다

— Jimmy Wiggles

이 대답은 편향되지 않은 않을 것을 분명히하기 위해 처음에는 약간의 수정 이 필요합니다. 원래 추정기 순서 자체는 일관성이 있어야합니다.

T_{n}

$T_n$

— 추기경

2

회귀로 포함 된 지연 종속 변수가있는 시계열 설정에서 OLS 추정기는 일관되지만 편향됩니다. 그 이유는 OLS 추정기의 편견을 나타 내기 위해 엄격한 외 생성이 필요하기 때문입니다. 즉, 에러 항 것을 , 기간에서 모든 시간주기의 모든 회귀 비상 관적이다. 그러나 OLS 추정기의 일관성을 나타내려면 동시 외 생성이 필요합니다. 즉, 오류 용어 , 기간 회귀 변수와 비 상관된다 $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ 기간에 . AR (1) 모델을 고려하십시오. 와 지금부터. $t$ $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

먼저 엄격한 외 생성이 회귀 변수로 포함 된 지연 종속 변수가있는 모델에서 유지되지 않음을 보여줍니다. 와 의 상관 관계를 살펴 보겠습니다. $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

순차적 외 생성을 가정하면 , 즉 기간 의 오류 항 은 이전 기간의 모든 회귀 변수와 상관 관계가 없으며 위의 첫 번째 항인 , 사라질 것입니다. 위에서 명백한 것은 우리가 엄격한 외 생성을 가지지 않으면 . 그러나 동시 외 생성이 라는 점은 분명해야합니다 . $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

위에서 지정한 AR (1) 모델을 추정 할 때 OLS 추정기의 바이어스를 살펴 보겠습니다. , 의 OLS 추정값 은 다음과 같습니다. $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

그런 다음 이전, 현재 및 미래의 모든 값에 대해 조건부 기대치를 취하십시오. 의 : $E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

그러나 우리는 있음 있도록 은 따라서 그러나 바이어스 : $Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

AR (1) 모델에서 OLS 추정기의 일관성을 보여주는 것으로 생각되는 것은 현재 상태로 연결이되는 과 . 이전과 같이, , 의 OLS 추정값 은 다음과 같이 주어집니다. $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

이제 및 , 양극 및 유한 . $plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

그런 다음 와 많은 수의 법칙 (LLN)이 적용되는 한 . 이 결과를 사용하면 다음과 같습니다. $T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

이에 따라 AR (1) 모델에서 의 의 OLS 추정값 이 바이어스되지만 일관된 것으로 나타났습니다 . 이 결과는 지연 종속 변수가 회귀 변수로 포함 된 모든 회귀에 적용됩니다. $p$ $\hat{\rho}$

— 플리 스켄
소스