이 분산 하에서 OLS가 무증상으로 효율적인가?

나는 선형 회귀 설정에서이 분산 하에서 OLS가 편견이 없지만 효율적이지 않다는 것을 알고 있습니다.

위키 백과에서

http://en.wikipedia.org/wiki/Minimum_mean_square_error

MMSE 추정기는 무증상으로 편향되어 정규 분포로 분포합니다 : 여기서 I (x)는 x의 Fisher 정보입니다. 따라서 MMSE 추정기는 점진적으로 효율적입니다. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE는 점진적으로 효율적이라고 주장합니다. 나는 약간 혼란스러워합니다.

이것은 유한 샘플에서 OLS가 효율적이지 않지만 이분산성에서 무증상으로 효율적이라는 것을 의미합니까?

현재 답변의 비판 : 지금까지 제안 된 답변은 제한 배포를 다루지 않습니다.

미리 감사드립니다

least-squares heteroscedasticity efficiency

— 카 다스 오즈 겐크
소스

그것은 꽤 긴 위키 백과 기사입니다. 또한 변경 될 수 있으므로 혼동을 일으키는 구절을 인용 해 주시겠습니까?

— hejseb

Fisher 정보는 우도 함수에서 파생됩니다. 따라서 가능성이 올바르게 지정되었음을 암시 적으로 암시합니다. 즉, 이분산성이있는 경우, 이분산성이 올바르게 지정되는 방식으로 회귀에 가중치를 부여한 것으로 가정합니다. en.wikipedia.org/wiki/Least_squares#Weighted_least_squares를 참조하십시오 . 실제로 우리는 종종이 분산의 형태를 알지 못하기 때문에 가중치 체계를 잘못 지정하여 회귀를 편향시킬 가능성보다는 비 효율성을 받아들입니다.

— Zachary Blumenfeld

@ZacharyBlumenfeld 기사에서 x의 분포에 대한 가정은 없었습니다. Fisher 정보를 어떻게 얻었습니까?

— Cagdas Ozgenc

en.wikipedia.org/wiki/Fisher_information을 참조하십시오. 이 기사 는 정의 섹션에서 예상되는 및 분포를 의미합니다 . 동성애주의는 결코 가정되지 않았다는 점에 유의하십시오. OLS 문맥에서 homoscedacticity 가정 , 항등 행렬. 이분법은 임의의 대각 포지티브 반정의 를 허용합니다 . 사용하면 사용하는 것과 다른 Fisher 정보가 생성됩니다 .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld

"MMSE가 분포에서 정규 분포로 수렴합니다."

— Hajir

답변:

이 기사는 정의에서 동성애를 가정하지 않았습니다. 기사의 맥락에 넣어하려면, homoskedasticity 말하는 것 어디 인 정체성 매트릭스 되는 스칼라 양수. 이분산성은

이자형 {(\hat{엑스} - 엑스) (\hat{엑스} - 엑스)^{티}} = σ 나는

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

이자형 {(\hat{엑스} - 엑스) (\hat{엑스} - 엑스)^{티}} = 디

$E\{(\hat x-x)(\hat x-x)^T\}=D$

모든 디아가 놀 양성 확정. 이 기사는 일부 암시 적 다변량 분포의 중심이되는 두 번째 모멘트로서 가능한 가장 일반적인 방식으로 공분산 행렬을 정의합니다. 의 점진적으로 효율적이고 일관된 추정치를 얻으려면 의 다변량 분포를 알아야합니다 . 이것은 우도 함수 (후부의 필수 구성 요소)에서 나옵니다. 예를 들어, (예 : 하면 내재 된 우도 함수는 여기서 는 다변량 정규 pdf입니다. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

로그 [엘] = 로그 [ϕ (\hat{엑스} - 엑스, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

피셔 정보 매트릭스는 자세한 내용은 en.wikipedia.org/wiki/Fisher_information을 참조하십시오. 여기서 우리는 도출 할 수 있습니다 . 위의 2 차 손실 함수를 사용하고 있지만 가정 하지는 않습니다. 동종 요법.

나는 (엑스) = 이자형 [(\frac{\partial}{\partial 엑스} 로그 [엘])^{2} | 엑스]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{엔} (\hat{엑스} - 엑스) \to^{디} 엔 (0, {나는}^{- 1} (엑스))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

를 회귀시키는 OLS의 맥락에서 우리는 라고 가정합니다. 암시 될 가능성은 변량 정규 pdf 로 편리하게 다시 쓸 수 있습니다 . 피셔 정보는 $y$ $x$

이자형 {와이 | 엑스} = {엑스}^{'} β

$E\{y|x\}=x'\beta$

로그 [엘] = 로그 [ϕ (와이 - {엑스}^{'} β, σ 나는)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

로그 [엘] = \sum_{나는 = 1}^{엔} 로그 [φ (와이 - {엑스}^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

나는 (β) = [σ (엑스 {엑스}^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

동종 동력 성이 충족되지 않으면 명시된 피셔 정보가 지정되지 않았지만 (조건부 기대 함수는 여전히 정확함) 의 추정값은 일관되지만 비효율적입니다. 우리는 이분산성을 설명 할 가능성을 재 작성할 수 있고 회귀 는 효율적입니다. 즉, 쓸 수 있습니다 이것은 특정 형태의 일반 최소 제곱과 같습니다. 가중 최소 제곱과 같은 그러나이 의지 $\beta$

로그 [엘] = 로그 [ϕ (와이 - {엑스}^{'} β, 디)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ Fisher 정보 매트릭스를 변경하십시오. 실제로 우리는 종종이 분산의 형태를 알지 못하기 때문에 가중치 체계를 지정하지 않아 회귀를 편향시킬 가능성보다는 비 효율성을 수용하는 것을 선호합니다. 이러한 경우 의 점근 공분산은 이 아닙니다 .

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— 재커리 블루 멘 펠트
소스

시간을 내 주셔서 감사합니다. 그러나 나는 위키 항목이 완전히 쓰레기라고 생각합니다. MMSE는 효율성을 제공하지 않으며, 시료의 가중치를 적절하게 지정하지 않습니다. 또한 표본에 가중치를 부여한다고 가정하더라도 분포가 가우시안이 아니라면 여전히 효율적인 추정량은 아닙니다.

— Cagdas Ozgenc

@CagdasOzgenc 나는 동의하지 않습니다. 이 기사는 회귀뿐만 아니라 다른 많은 모델을 포함하는 일반적인 베이지안 방식으로 표현됩니다 (칼만 필터를 더 목표로하는 것 같습니다). 가능성은 알려진 경우 가장 효율적인 추정량입니다. 이것은 가능성의 기본 속성입니다. 귀하의 의견은 1 차 조건을 도출 할 때 정규성이 가정되는 회귀 모델의 하위 집합 (가장 널리 적용되는 모델 중 하나)에만 엄격하게 적용됩니다.

— Zachary Blumenfeld

당신은 그것을 스스로 말했다. 불행하게도이 기사는 우도 추정에 관한 것이 아닙니다. 최소 평균 제곱 추정기로, 특정 조건이 충족 될 때 효율적입니다.

— Cagdas Ozgenc

아마 동의하지 않을 것에 동의합니다 :) 아마도 MMSE가 가장 빈번한 회귀에 사용되는 방식과 더 베이지 안에서 적용되는 방식 사이에 MMSE의 정의와 충돌이있을 수 있습니다. 아마도 그들은 새로운 이름을 발명해야 할 것입니다. 그럼에도 불구하고 모든 단일 제곱 잔차에 대해 독립적 인 기대를 취할 때 가능성 (또는 다른 비모수 적 추정)이 암시됩니다. 특히 베이지안 환경에서 (그렇지 않으면 어떻게 추정할까요?) 인터넷 검색 후 Wikipedia와 비슷한 결과가 많이 나왔습니다. 어쨌든 나는 용어가 남용되고 있음에 동의합니다.

— Zachary Blumenfeld

아니요, OLS는 이분산성이 효율적이지 않습니다. 추정기가 다른 가능한 추정기들 중에서 가장 적은 분산을 갖는 경우 추정기의 효율이 얻어진다. OLS의 효율성에 대한 설명은 추정기의 제한적인 분포에 관계없이 이루어집니다.

— random_guy
소스