MLE의 바이어스는 분산보다 어떤 모델에 더 빠릅니까?

$\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ 전형적 감소로서 $O(1/\sqrt n)$ . 삼각형의 불평등과 기대의 속성을 사용하면,이 오류 비율이 그 "편견"모두 의미 것을 보여주기 위해 가능 $\lVert \mathbb E\hat\theta - \theta^*\rVert$ 와 "편차" $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ 같은에서 감소 $O(1/\sqrt{n})$ 요율. 물론 모델이 더 빠른 속도로 축소되는 바이어스를 가질 수 있습니다. 많은 모형 (예 : 최소 최소 제곱 회귀)은 편향이 없습니다.

나는 보다 빠르게 수축하는 바이어스를 가진 모델에 관심이 있습니다 $O(1/\sqrt n)$ 이지만 편차가 여전히 로 줄어들 기 때문에 오류가이 빠른 속도로 줄어들지 않는 경우 $O(1/\sqrt n)$ . 특히, 모델의 바이어스가의 비율로 축소 될 수있는 충분한 조건을 알고 싶습니다 $O(1/n)$ .

— 마이크 이즈 비키
소스

합니까

? 또는?

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$

— Alecos Papadopoulos 2016

나는 구체적으로 L2 규범에 대해 묻고있었습니다. 그러나 질문에 더 쉽게 대답 할 수 있다면 다른 규범에도 관심이 있습니다.

— Mike Izbicki 2016 년

인

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$

O_{p} (1 / n)

$O_p(1/n)$

— Alecos Papadopoulos 2016

죄송합니다. 귀하의 의견을 잘못 읽었습니다.

차원 의 L2 표준의 경우

d

$d$

이므로 수렴은

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

. 우리가 제곱하면

로 수렴한다는 데 동의합니다.

O (1 / \sqrt{n})

$O(1/\sqrt n)$

O (1 / n)

$O(1/n)$

— Mike Izbicki 2016 년

능선 회귀 (Hoerl & Kennard 1970) 논문을 보셨습니까? 이것이 사실 일 것으로 예상되는 디자인 매트릭스 + 페널티에 대한 조건을 제공한다고 생각합니다.

— dcl

답변:

일반적으로 MLE가 점진적으로 정상이 아닌 다른 분포로 수렴되는 모델이 필요합니다 (더 빠른 속도로 수행). 일반적으로 추정중인 모수가 모수 공간의 경계에있을 때 발생합니다. 직관적으로 이는 MLE가 "한 쪽에서 만"매개 변수에 접근하므로 매개 변수 주위를 "뒤로"이동하여 "분산되지"않기 때문에 "수렴 속도를 향상"시킵니다.

표준 예 는 균일 rv의 iid 샘플에서 에 대한 MLE입니다. 여기서 MLE는 최대 차수 통계입니다. $\theta$ $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

유한 표본 분포는

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

따라서 . 그러나 분산에 대해서도 동일한 증가율이 유지됩니다. $B(\hat \theta_n) = O(1/n)$

하나는 또한 제한 분포를 얻기 위해 다음을 확인 할 수 있습니다, 우리는 변수 볼 필요가 (즉, 우리가에 의해 규모의 필요, 이후) $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

이는 지수 분포의 CDF입니다.

이것이 약간의 방향을 제시하기를 바랍니다.

— 알레 코스 파파도풀로스
소스

점점 가까워 지지만 편차보다 편차가 더 빨리 줄어드는 상황에 특히 관심이 있습니다.

— Mike Izbicki 2016 년

@MikeIzbicki Hmm ... 바이어스 수렴은 분포의 첫 번째 모멘트에 따라 달라지며 (의 제곱근) 분산도 "1 차"크기입니다. 나는 이것이 가능한 일인지 확신 할 수 없다. 왜냐하면 그것은 제한적인 분포의 순간들이 서로 호환되지 않는 수렴 속도로 "일어나"는 것을 암시하는 것처럼 보이기 때문이다. 그러나 나는 그것에 대해 생각할 것이다.

— Alecos Papadopoulos 2016

내 다른 답변에 대한 의견 (및 OP 질문의 제목을 다시 살펴보십시오!)에 따르면,이 문제에 대한 이론적 탐구는 매우 엄격하지 않습니다.

우리는 결정하고자 여부 바이어스 분산의 제곱근과 다른 수렴 속도를 가질 수있다, $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

우리는

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

동안

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

$(2)$

$O(1/n^{2\gamma})$ $\gamma = \delta$

B) 그러나 또한

\begin{matrix} (삼) & 임 엔^{2 γ} [이자형 ({\hat{θ}}_{엔})]^{2} \to 0 ⟹ [이자형 ({\hat{θ}}_{엔})]^{2} = 영형 (1 / 엔^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

$(3)$ $(1)$

\begin{matrix} (4) & 엔^{2 γ} < 엔^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

따라서 원칙적으로 편차의 제곱근보다 더 빠른 속도로 바이어스를 수렴 할 수있는 것으로 보입니다. 그러나 편차의 제곱근이 바이어스보다 빠른 속도로 수렴 할 수는 없습니다.

— 알레 코스 파파도풀로스
소스

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

@MikeIzbicki 나는 여전히 "제로 바이어스"예제에 문제가 있다고 생각하지만 원칙적으로 바이어스가 더 빨리 수렴 할 수 있음을 보여주기 위해 내 대답을 수정했습니다.

— Alecos Papadopoulos 2016 년