최소 제곱 추정기의 분산에서 항에 대한 직관적 인 설명

18

경우 전체 순위의 역은 존재하고 우리는 최소 제곱 추정 얻을 : 및 $X$ $X^TX$

\hat{β} = (X^{T} X)^{- 1} X Y

$\hat\beta = (X^TX)^{-1}XY$

Var (\hat{β}) = σ^{2} (X^{T} X)^{- 1}

$\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1}$

분산 공식에서 을 직관적으로 설명하는 방법은 무엇입니까? 파생 기술은 분명합니다. $(X^TX)^{-1}$

regression variance least-squares

— 다니엘 예피 모프
소스

3

당신은 수식이의 분산 - 공분산 행렬에 대해 언급 한 것을 지적하는 메모를 추가 할 수 있습니다 가정 - OLS에 의해 추정된다 - 올바른 경우에만 경우 가우스-마코프 정리의 조건은 만족되며, 특히 오류 항의 분산-공분산 행렬이 의해 주어진 경우에만 , 여기서

은

항등 행렬이고

은

(와

)의 행 . 당신이 제공 한 공식은 하지 않은 구형 오류의 일반적인 경우에 대한 올바른.

\hat{β}

$\hat{\beta}$

\hat{β}

$\hat{\beta}$

σ^{2} I_{n}

$\sigma^2 I_n$

I_{n}

$I_n$

n \times n

$n\times n$

n

$n$

X

$X$

Y

$Y$

— Mico

13

항이 일정하지 않고 단일 회귀가 표본 평균의 중심에있는 간단한 회귀를 고려하십시오. 그러면 는 표본 분산이고 ( ), 그리고 은 직선입니다. 따라서 회귀 변수의 분산 = 변동성이 높을수록 계수 추정기의 분산이 낮아집니다. 설명 변수에 변동성이 많을수록 미지의 계수를 더 정확하게 추정 할 수 있습니다. $X'X$ $n$ $(X'X)^{-1}$

왜? 회귀 변수가 다양할수록 더 많은 정보가 포함됩니다. 회귀자가 많으면 회귀의 공분산을 고려한 분산-공분산 행렬의 역으로 일반화됩니다. 가 대각선 인 극단적 인 경우 각 추정 계수의 정밀도는 연관된 회귀 변수의 분산 / 변동성에만 의존합니다 (오류 항의 변동이 제공됨). $X'X$

— 알레 코스 파파도풀로스
소스

이 인수를 분산 공분산 행렬의 역수가 부분 상관 관계를 산출 한다는 사실과 관련이 있습니까?

— Heisenberg

5

보는 간단한 방법 의 매트릭스이다 (변수) 아날로그 $\sigma^2 \left(\mathbf{X}^{T} \mathbf{X} \right)^{-1}$ , 이것은 단순한 OLS 회귀에서 기울기 계수의 분산입니다. 하나는얻을 수 있습니다 $\frac{\sigma^2}{\sum_{i=1}^n \left(X_i-\bar{X}\right)^2}$ 모형에서 절편을 생략함으로써, 즉 원점을 통해 회귀를 수행함으로써 해당 분산에 대해. $\frac{\sigma^2}{\sum_{i=1}^n X_i^2}$

이들 식 중 하나로부터 예측 변수의 큰 변동성은 일반적으로 계수의보다 정확한 추정으로 이어질 수 있음을 알 수있다. 이것은 (랜덤이 아닌) 예측 변수에 대한 값을 선택함으로써 의 결정자를 최대한 크게 만들려고 시도하는 실험 설계에서 종종 활용됩니다. 결정자 는 변동성의 척도입니다. $\left(\mathbf{X}^{T} \mathbf{X} \right)$

— 존
소스

2

가우스 랜덤 변수의 선형 변환이 도움이됩니까? 이면 규칙을 사용합니다 . $x \sim \mathcal{N}(\mu,\Sigma)$ $Ax + b ~ \sim \mathcal{N}(A\mu + b,A^T\Sigma A)$

있다는 가정 기본 모델이다 . $Y = X\beta + \epsilon$ $\epsilon \sim \mathcal{N}(0, \sigma^2)$

∴ 와이 \sim 엔 (엑스 β, σ^{2}) {엑스}^{티} 와이 \sim 엔 ({엑스}^{티} 엑스 β, 엑스 σ^{2} {엑스}^{티}) ({엑스}^{티} 엑스)^{- 1} {엑스}^{티} 와이 \sim 엔 [β, ({엑스}^{티} 엑스)^{- 1} σ^{2}]

$\therefore Y \sim \mathcal{N}(X\beta,\sigma^2)\\ X^TY \sim \mathcal{N}(X^TX\beta, X\sigma^2 X^T)\\ (X^TX)^{-1}X^TY \sim \mathcal{N}[\beta,(X^TX)^{-1} \sigma^2]$

따라서 는 의 분포를 변환하는 복잡한 스케일링 행렬입니다 . $(X^TX)^{-1}X^T$ $Y$

도움이 되었기를 바랍니다.

— 케 다프
소스

OLS 추정기의 파생 및 분산에는 오류 항의 정규성이 필요하지 않습니다. 필요한 사용자들은 모든입니다

와

. (물론, OLS가 Cramer-Rao 하한을 달성했음을 보여 주려면 정규성 이 필요하지만, OP의 게시 내용이 아닙니다.)

E (ε) = 0

$E(\varepsilon)=0$

E (ε ε^{T}) = σ^{2} I_{n}

$E(\varepsilon\varepsilon^T)=\sigma^2 I_n$

— Mico

2

수식 기초가되는 직관 을 개발하기 위해 다른 접근법을 사용하겠습니다.. 다중 회귀 모형에 대한 직관을 개발할 때는 이변 량 선형 회귀 모형 인viz를 고려하면 도움이됩니다. , $\text{Var}\,\hat{\beta}=\sigma^2 (X'X)^{-1}$ 는 종종 대한 결정론적 기여라고하며, 는 확률 론적 기여라고합니다. 표본 평균 과의 편차로 표현하면이 모형은

y_{i} = α + β x_{i} + ε_{i}, i = 1, \dots, n .

$y_i=\alpha+\beta x_i + \varepsilon_i, \quad i=1,\ldots,n.$

α + β x_{i}

$\alpha+\beta x_i$

y_{i}

$y_i$

ε_{i}

$\varepsilon_i$

(\bar{x}, \bar{y})

$(\bar{x},\bar{y})$

({와이}_{나는} - \bar{와이}) = β ({엑스}_{나는} - \bar{엑스}) + (ε_{나는} - \bar{ε}), 나는 = 1, \dots, 엔 .

$(y_i-\bar{y}) = \beta(x_i-\bar{x})+(\varepsilon_i-\bar{\varepsilon}), \quad i=1,\ldots,n.$

도움이되는 직관을 개발, 우리는 간단한 가우스 - 마르코프 가정이 만족하는 것으로 가정합니다 : nonstochastic, 모든 , 및 모두 입니다. 이미 잘 알고 있듯이 이러한 조건은 $x_i$ $\sum_{i=1}^n(x_i-\bar{x})^2>0$ $n$ $\varepsilon_i \sim \text{iid}(0,\sigma^2)$ $i=1,\ldots,n$ 여기서

바르 \hat{β} = \frac{1}{엔} σ^{2} (바르 엑스)^{- 1},

$\text{Var}\,\hat{\beta}=\tfrac{1}{n}\sigma^2(\text{Var}\,x)^{-1}\text{,}$

의 분산이다 샘플

. 즉,이 식 세 주장한다 : "의 분산

시료의 크기에 반비례

, 그것의 분산에 비례

, 그것은의 변화에 반비례

."

Var x

$\text{Var}\,x$

x

$x$

\hat{β}

$\hat{\beta}$

n

$n$

ε

$\varepsilon$

x

$x$

왜, 샘플 크기를 두 배로해야 paribus을 다른 조건 의 변화 원인, 반으로 잘라을 할 수 있나요? 이 결과는 친밀에 적용되는 IID 가정에 연결되어 : 개별 오류가 IID로 간주되기 때문에, 각각의 관찰은 치료를해야 전 분담금을 동등하게 정보로서. 그리고 관측치 수를 두 배로 늘리면 와 사이의 (가정 된 선형) 관계를 설명하는 모수에 대한 정보의 양이 두 배가 됩니다. 두 배의 정보가 있으면 매개 변수에 대한 불확실성이 절반으로 줄어 듭니다. 마찬가지로, 왜 배가되는지에 대한 직관을 발전시키는 것이 간단해야합니다. $\hat{\beta}$ $\varepsilon$ $x$ $y$ 도의 편차 배가 . $\sigma^2$ $\hat{\beta}$

하자의 차례, 다음의 분산이라는 주장에 대한 직관을 개발에 관한 주요 질문에 있다 반비례 의 분산에 . 개념을 공식화하기 위해 지금부터 Model 과 Model 라는 두 개의 개별 이변 량 선형 회귀 모델을 고려해 보겠습니다 . 두 모델이 가장 단순한 형태의 가우스-마코프 정리의 가정을 만족하고 모델이 정확히 동일한 , , 및 값을 공유한다고 합니다. 이러한 가정 하에서 $\hat{\beta}$ $x$ $(1)$ $(2)$ $\alpha$ $\beta$ $n$ $\sigma^2$ ; 다시 말해, 두 추정치는 모두 편견이 없습니다. 결정적으로, 우리는 또한 가정하는 반면 , $\text{E}\,\hat{\beta}{}^{(1)}=\text{E}\,\hat{\beta}{}^{(2)}=\beta$ $\bar{x}^{(1)}=\bar{x}^{(2)}=\bar{x}$ . 일반성을 잃지 않고 $\text{Var}\,x^{(1)}\ne \text{Var}\,x^{(2)}$ . 어떤 추정 작은 차이가 있습니까? 다르게 말하면, 것 $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $\hat{\beta}$ 또는 $\hat{\beta}{}^{(1)}$ 평균적으로에더 가깝습니까? 이전 토론에서 우리는 $\hat{\beta}{}^{(2)}$ $\beta$ 에 대한. 때문에 $\text{Var}\,\hat{\beta} {}^{(k)} =\tfrac{1}{n}\sigma^2/\text{Var}\,x{}^{(k)})$ $k=1,2$ 는 가정에 따라 $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ . 그렇다면이 결과의 직관은 무엇입니까? $\text{Var}\,\hat{\beta}{}^{(1)} <\text{Var}\,\hat{\beta}{}^{(2)}$

가정에 의해 , 평균 각 는평균 의 경우보다 에서멀어 질것이다. 와 사이의 예상 평균 절대 차이를 표시하겠습니다. 이 가정 $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $x_i^{(1)}$ $\bar{x}$ $x_i^{(2)}$ $x_i$ $\bar{x}$ $d_x$ 는 합니다. 수단으로부터의 편차로 표현 회귀 선형 변량, 미국 모델의 및 모델의 . 경우 $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $d_x^{(1)} >d_x^{(2)}$ $d_y = \beta d_x^{(1)}$ $(1)$ $d_y = \beta d_x^{(2)}$ $(2)$ $\beta\ne0$ , 모델의 결정적 요소 있음이 수단 , 가지고 큰 영향 에 모델의 결정적 요소보다 , . 두 모델 모두 가우스-마코프 가정을 만족한다고 가정하고, 오차 분산은 두 모델에서 동일하며, 입니다. 모델 이후 $(1)$ $\beta d_x^{(1)}$ $d_y$ $(2)$ $\beta d_x^{(2)}$ $\beta^{(1)}=\beta^{(2)}=\beta$ 의 결정 성분의 기여에 대한 자세한 정보가 부여 모델보다 ,가 있는지 다음정밀도결정적 기여도를 추정 할 수있는 모델에 대한 크 모델의 경우보다 . 더 큰 정밀도의 반대는 점 추정치의 분산이 낮다는 것입니다. $(1)$ $y$ $(2)$ $(1)$ $(2)$ $\beta$

단순 회귀 모델을 연구하여 얻은 직관을 일반 다중 선형 회귀 모델로 일반화하는 것은 상당히 간단합니다. 주요 합병증은 스칼라 분산을 비교하는 대신 분산-공분산 행렬의 "크기"를 비교해야한다는 것입니다. 실제 대칭 행렬의 결정 요인, 미량 및 고유 값에 대한 실무 지식이 있으면이 시점에서 매우 유용합니다.

— 미코
소스

1

관측치 (또는 표본 크기)와 매개 변수 가 있다고 가정 합니다. $n$ $p$

공분산 행렬 의 추정은 파라미터 등 파라미터 추정의 정확도의 표시이다. $\operatorname{Var}(\hat{\beta})$ $\hat{\beta}_1,\hat{\beta}_2$

이상적인 세계에서 데이터를 모델로 완벽하게 설명 할 수 있으면 노이즈는 입니다. 지금의 대각선 엔트리 에 대응 등의 분산을위한 유도 식 노이즈가 낮은 경우, 예상보다 것이라고 직관 동의 정확한. $\sigma^2= 0$ $\operatorname{Var}(\hat{\beta})$ $\operatorname{Var}(\hat{\beta_1}),\operatorname{Var}(\hat{\beta_2})$

또한 측정 수가 많아 질수록 추정 된 변수의 분산이 줄어 듭니다. 따라서, 전체의 항목의 절대 값이 의 열의 수와 같이 높을 것이다 인 과의 행의 수 인 과 각 항목 의 합계 인 제품 한 쌍. 역의 항목의 절대 값 것 이하이다. $X^TX$ $X^T$ $n$ $X$ $n$ $X^TX$ $n$ $(X^TX)^{-1}$

$\hat{\beta_i}$ $n$

이게 도움이 되길 바란다.

참조 : 최소 제곱에 대한 섹션 7.3 : Cosentino, Carlo 및 Declan Bates. 시스템 생물학의 피드백 제어. Crc Press, 2011.

— 딜리 민치
소스

1

이것은 @Alecos Papadopuolos의 답변을 기반으로합니다.

최소 제곱 회귀의 결과는 변수의 측정 단위에 의존하지 않습니다. X 변수가 인치 단위의 길이 측정이라고 가정하십시오. 그런 다음 X의 크기를 재조정하면 (예 : 2.54를 곱하여 단위를 센티미터로 변경) 실질적으로 영향을 미치지 않습니다. 모형을 다시 맞추면 새 회귀 추정치는 기존 추정치 를 2.54 로 나눈 값이 됩니다.

$X'X$ $\beta$ $X'X$

— 홍 오오이
소스