다중 선형 회귀 분석을 위해 최소 제곱 추정기를 도출하는 방법은 무엇입니까?

30

간단한 선형 회귀 분석법 에서 최소 제곱 추정량 같은 당신이 알 필요가 없다는 추정하는 $y=\beta_0+\beta_1x$ $\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$ $\hat\beta_0$ $\hat\beta_1$

내가 가진 가정 내가 파생 어떻게, 추정하지 않고 ? 아니면 불가능합니까? $y=\beta_1x_1+\beta_2x_2$ $\hat\beta_1$ $\hat\beta_2$

— 세이버 CN
소스

1

변수 중 하나를 생략하고 다른 변수가 독립적 인 경우 편향되지 않은 추정값을 얻을 수 있습니다.

— david25272

51

행렬 표기법의 유도

에서 시작 정말와 동일 $y= Xb +\epsilon$

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

그것은 모두 minimzing 로 귀착 . $e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

따라서 를 최소화 하면 다음과 같이됩니다. $e'e'$

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

$min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

마지막 수학적 하나 인 최소의 2 차 조건은 행렬 가 양의 한정 이어야합니다 . 가 전체 순위를 가진 경우이 요구 사항이 충족됩니다 . $X'X$ $X$

더 큰 단계의 모든 단계를 거치는보다 정확한 파생은 http://economictheoryblog.com/2015/02/19/ols_estimator/ 에서 찾을 수 있습니다 .

— 안드레아스 디비 아시
소스

3

이 파생물은 내가 찾던 것입니다. 건너 뛴 단계가 없습니다. 놀랍도록 찾기가 놀랍습니다.

— javadba

1

행렬 방정식에서 두 번째 *는 +? 또한, 안 대신 치수에 맞게 얻을?

b_{K}

$b_K$

b_{N}

$b_N$

— Alexis Olson

알렉시스 올슨, 네 말이 맞아! 내 답변을 편집했습니다.

— Andreas Dibiasi

13

다른 회귀를 추정하지 않고 다중 회귀 분석에서 하나의 계수 만 추정 할 수 있습니다.

의 추정치는 다른 변수에서 의 영향을 제거한 다음 의 잔차에 대해 의 잔차를 회귀하여 . 이것은 하나의 변수를 어떻게 정확하게 제어합니까? 및 방법 (A) 회귀 계수를 정상화? . 이 접근법의 장점은 미적분학, 선형 대수학, 2 차원 기하학을 사용하여 시각화 할 수 있고 수치 적으로 안정적이며 다중 회귀에 대한 하나의 기본 아이디어를 취한다는 것입니다. ) 단일 변수의 효과. $\beta_1$ $x_2$ $y$ $x_1$

이 경우 다중 회귀는 세 가지 일반적인 회귀 단계를 사용하여 수행 할 수 있습니다.

를 회귀합니다 (상수항 없이). 적합 값을 합니다. 추정치는 따라서 잔차는 기하학적으로, 는 투영을 뺀 후에 남은 것입니다 . $y$ $x_2$ $y = \alpha_{y,2}x_2 + \delta$
$α_{y, 2} = \frac{\sum_{i} y_{i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$ $\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$ $δ = y - α_{y, 2} x_{2} .$ $\delta = y - \alpha_{y,2}x_2.$ $\delta$ $y$ $x_2$
을 회귀 합니다 (상수 항 없음). BE 착용감하자 . 추정치는잔차는기하학적으로, 는 투영을 뺀 후 남은 것입니다 . $x_1$ $x_2$ $x_1 = \alpha_{1,2}x_2 + \gamma$
$α_{1, 2} = \frac{\sum_{i} x_{1 i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$ $\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$ $γ = x_{1} - α_{1, 2} x_{2} .$ $\gamma = x_1 - \alpha_{1,2}x_2.$ $\gamma$ $x_1$ $x_2$
에서 를 회귀 합니다 (상수 용어 없음). 추정치는적합은 입니다. 기하학적 의 요소이다 (대표 함께 꺼내어) (나타내는 방향 가진 취출은). $\delta$ $\gamma$
${\hat{β}}_{1} = \frac{\sum_{i} δ_{i} γ_{i}}{\sum_{i} γ_{i}^{2}} .$ $\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$ $\delta = \hat\beta_1 \gamma + \varepsilon$ $\hat\beta_1$ $\delta$ $y$ $x_2$ $\gamma$ $x_1$ $x_2$

것을 알 수 추정되지 않았습니다. $\beta_2$ 그것은 쉽게 지금까지 (단지로 획득 된 내용에서 복구 할 수 있습니다 일반 회귀 경우 쉽게 기울기 추정치에서 얻을 수있다 ). 의 변량 회귀의 잔차이다 에 및 . $\hat\beta_0$ $\hat\beta_1$ $\varepsilon$ $y$ $x_1$ $x_2$

일반적인 회귀와의 병행은 강력합니다. 단계 (1)과 (2)는 일반적인 공식에서 평균을 빼는 것과 유사합니다. 당신이 할 경우 사람의 벡터 수, 당신은 실제로 일반적인 공식을 복구합니다. $x_2$

이것은 두 가지 이상의 변수로 회귀하는 명백한 방식으로 일반화됩니다. 을 추정 하고 , 와 다른 모든 변수 와 별도로 회귀시킨 다음 잔차를 서로 회귀시킵니다. 그 시점에서, 유료 의 회귀의 다른 계수의 아직 추정되었다. $\hat\beta_1$ $y$ $x_1$ $y$

— 우버
소스

1

좋은 대답은, 여기에 일반적인 정리 en.wikipedia.org/wiki/…

— JohnK

4

의 일반적인 최소 제곱 추정값은 반응 변수의 선형 함수입니다 $\beta$ . 간단히 말해, 계수의 OLS 추정값 인 는 종속 변수 ( 's)와 독립 변수 ( 's) 만 사용하여 작성할 수 있습니다 . $\beta$ $Y_i$ $X_{ki}$

일반적인 회귀 모형에 대해이 사실을 설명하려면 약간의 선형 대수를 이해해야합니다. 다중 회귀 모형에서 계수 를 추정한다고 가정합니다 . $(\beta_0, \beta_1, ...,\beta_k)$

Y_{i} = β_{0} + β_{1} X_{1 i} + . . . + β_{k} X_{k i} + ϵ_{i}

$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$

여기서 입니다 . 설계 행렬 는 행렬이며, 여기서 각 열에 는 종속 변수 의 관측치가 포함 됩니다. 추정 된 계수 를 계산하는 데 사용되는 공식에 대한 많은 설명과 도출을 여기 에서 찾을 수 있습니다. 이며 $\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$ $i=1,...,n$ $\mathbf{X}$ $n\times k$ $n$ $k^{th}$ $X_k$ $\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$

역 이 있다고 가정 합니다. 추정 계수는 다른 추정 계수가 아닌 데이터의 함수입니다. $(\mathbf{X}^\prime \mathbf{X})^{-1}$

— 기병
소스

간단한 회귀 사건에 대한 후속 질문이 있습니다 를 는 의 행렬이됩니다. 및 이면 . 내 경우에는 방정식을 어떻게 다시 작성해야합니까?

y_{i} = β_{0} + β_{1} \bar{x} + β_{1} (x_{i} - \bar{x}) + e_{i}

$y_i=\beta_0+\beta_1\bar x+\beta_1(x_i-\bar x)+e_i$

X

$X$

(1, . . ., 1)

$(1,...,1)$

(x_{1} - \bar{x}, . . ., x_{n} - \bar{x})

$(x_1-\bar x,...,x_n-\bar x)$

\hat{β} = (X^{'} X)^{(} - 1) X^{'} Y

$\hat\beta=(X'X)^(-1)X'Y$

— Saber CN

그리고 더 많은 질문은 과 가 선형이 아니지만 모델이 여전히 선형 인 경우에 적용됩니까? 예를 들어, 붕괴 곡선 에서 지수를 및 대체하여 원래 질문이 될 수 있습니까?

x_{1}

$x_1$

x_{2}

$x_2$

y = β_{1} e^{x_{1} t} + β_{2} e^{x_{2} t}

$y=\beta_1 e^{x_1t}+\beta_2 e^{x_2t}$

x_{1}^{'}

$x_1'$

x_{2}^{'}

$x_2'$

— 세이버 CN

첫 번째 주석에서 변수를 가운데에 놓고 (평균을 빼고) 독립 변수로 사용할 수 있습니다. "표준 회귀 분석"을 검색하십시오. 행렬로 쓴 공식이 올바르지 않습니다. 두 번째 질문에 대해 그렇습니다. 선형 모델은 의 선형 모델 이므로 가 의 선형 조합과 동일하다면 괜찮습니다.

β

$\beta$

y

$y$

β

$\beta$

— caburke

2

(+1). 그러나 대신 " matrix" 이어야하지 않습니까?

n \times k

$n \times k$

k \times n

$k \times n$

— miura December

3

이론과 실습에 관한 작은 사소한 참고 사항. 수학적으로 은 다음 공식으로 수 있습니다. $\beta_0, \beta_1, \beta_2 ... \beta_n$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\hat{\beta} = (X'X)^{-1} X'Y$

여기서 는 원래 입력 데이터이고 는 추정하려는 변수입니다. 이는 오류를 최소화하는 것입니다. 나는 작은 실용적인 점을 만들기 전에 이것을 증명할 것이다. $X$ $Y$

선형 회귀가 점에서 만드는 오류라고 하자 . 그때: $e_i$ $i$

e_{i} = y_{i} - \hat{y_{i}}

$e_i = y_i - \hat{y_i}$

우리가 만드는 총 제곱 오류는 다음과 같습니다.

\sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} (y_{i} - \hat{y_{i}})^{2}

$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$

우리는 선형 모델을 가지고 있기 때문에

\hat{y_{i}} = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + . . . + β_{n} x_{n, i}

$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$

다음과 같이 행렬 표기법으로 다시 작성할 수 있습니다.

\hat{Y} = X β

$\hat{Y} = X\beta$

우리는 알고

\sum_{i = 1}^{n} e_{i}^{2} = E^{'} E

$\sum_{i=1}^n e_i^2 = E'E$

총 제곱 오차를 최소화하여 다음식이 가능한 작아야합니다.

E^{'} E = (Y - \hat{Y})^{'} (Y - \hat{Y})

$E'E = (Y-\hat{Y})' (Y-\hat{Y})$

이것은 다음과 같습니다.

E^{'} E = (Y - X β)^{'} (Y - X β)

$E'E = (Y-X\beta)' (Y-X\beta)$

재 작성은 혼란스러워 보일 수 있지만 선형 대수에서 나옵니다. 행렬은 몇 가지 측면에서 변수를 곱할 때 변수와 유사하게 작동합니다.

이 표현이 가능한 한 작게되도록 값을 찾고 싶습니다 . 미분을 미분하고 0으로 설정해야합니다. 여기서는 체인 규칙을 사용합니다. $\beta$

\frac{d E^{'} E}{d β} = - 2 X^{'} Y + 2 X^{'} X β = 0

$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$

이것은 다음을 제공합니다.

X^{'} X β = X^{'} Y

$X'X\beta = X'Y$

마지막으로

β = (X^{'} X)^{- 1} X^{'} Y

$\beta = (X'X)^{-1} X'Y$

수학적으로 우리는 해결책을 찾은 것 같습니다. 그래도 한 가지 문제가 있으며 , 행렬 가 매우 큰 경우 을 계산하기가 매우 어렵다는 것 입니다. 이로 인해 수치 정확도 문제가 발생할 수 있습니다. 이 상황에서 에 대한 최적의 값을 찾는 또 다른 방법 은 그래디언트 디센트 유형의 방법을 사용하는 것입니다. 우리가 최적화하고자하는 함수는 제한이없고 볼록하므로 실제로 필요한 경우 그래디언트 방법도 사용합니다. $(X'X)^{-1}$ $X$ $\beta$

— 빈센트 워머 담
소스

실제로 계산할 필요가 없다는 것을 제외하고는 ...

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— user603

유효한 포인트. 그램 슈미트 프로세스를 사용할 수도 있지만 벡터에 대한 최적의 값을 찾는 것도 볼록 함으로 인해 숫자로 수행 될 수 있음을 말하고 싶었습니다 .

β

$\beta$

— Vincent Warmerdam

2

LR의 기하학적 해석을 사용하여 간단한 파생을 수행 할 수 있습니다.

선형 회귀는 열 공간 에 대한 의 투영으로 해석 될 수 있습니다 . 따라서 오류 는 의 열 공간과 직교합니다 . $Y$ $X$ $\hat{\epsilon}$ $X$

따라서 와 오차 사이의 내부 곱은 0이어야합니다. 즉, $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

그 말은

$(X'X)^{-1}X'y = \hat{\beta}$ 입니다.

이제 다음과 같이 할 수 있습니다.

(1) 투영 (오류 ), , $Y$ $X_2$ $\delta = Y-X_2 \hat{D}$ $\hat{D} = (X_2'X_2)^{-1}X_2'y$

(2) 을 투영 (오류 ), , $X_1$ $X_2$ $\gamma = X_1 - X_2 \hat{G}$ $\hat{G} = (X_1'X_1)^{-1}X_1X_2$

그리고 마지막으로,

(3) 를 , 투영 $\delta$ $\gamma$ $\hat{\beta}_1$

— 다이 나엘
소스