선형 회귀 계수 추정에 대한 분석 솔루션

9

행렬 표기법을 이해하고 벡터 및 행렬로 작업하려고합니다.

지금 은 다중 회귀 분석에서 계수 추정값 벡터가 어떻게 계산되는지 이해하고 싶습니다 . $\hat{\beta}$

기본 방정식은

\frac{d}{d β} (y - X β)^{'} (y - X β) = 0 .

$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$

이제 여기서 벡터 를 어떻게 해결할 수 $\beta$ 있습니까?

편집 : 잠깐 만요. 나는 지금 여기 있고 계속하는 방법을 모른다 :

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

함께 모두 절편 인 : $x_{i0} = 1$ $i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

올바른 방향으로 나를 가리킬 수 있습니까?

regression

— 알렉산더 엥겔 하르트
소스

@GaBorgulya는 편집 해 주셔서 감사합니다.에 대해 몰랐 smallmatrix으므로 편집을 시도하지 않았습니다. 여러 줄에서 수식을 깨는 일반적인 해결책은 여기서 효과가 없었기 때문입니다.

— mpiktas

12

우리는

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

성분을 사용하여 방정식을 명시 적으로 작성하여 표시 할 수 있습니다. 예를 들어 대신 를 작성하십시오 . 그런 다음 , , ..., 모든 것을 답을 얻으십시오. 빠르고 쉬운 설명을 위해 시작할 수 있습니다 . $(\beta_{1}, \ldots, \beta_{p})'$ $\beta$ $\beta_{1}$ $\beta_{2}$ $\beta_{p}$ $p = 2$

경험이 있으면 일반적인 규칙을 개발할 수 있으며 그 중 일부는 예를 들어 해당 문서 에 나와 있습니다 .

질문의 추가 부분을 안내하도록 편집

와 우리는이 $p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

대한 미분 은 $\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

마찬가지로 대한 미분 은 $\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

따라서, 대한 미분 은 $\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

이제 마지막 표현식을 다음과 같이 다시 작성할 수 있습니다.

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

물론 더 큰 대해 모든 것이 동일한 방식으로 수행됩니다 . $p$

— 옥람
소스

굉장히, 나는 그 유형의 pdf를 정확하게 찾고있었습니다. 정말 감사합니다!

— Alexander Engelhardt

아, 나는 지금 스스로 할 수 있다고 생각했지만 할 수는 없습니다. 내 발걸음이 옳은지 또는이 문제를 해결하기 위해 "또 다른 방법"을 취해야하는지 말해 줄 수 있습니까?

— Alexander Engelhardt

@Alexx Hardt : 편집의 첫 번째 방정식은 p = 2 인 특정 경우의 마지막 방정식과 동일하므로 구성 요소 3, 4, ..., p에 대한 계산을 모방 할 수 있습니다.

— ocram

다시 한 번 감사드립니다 :) 나는 실제로 세 가지 제안을 모두 사용할 것이라고 생각합니다. 나는 기본 통계 매트릭스 대수를 설명하고 요약하는 .pdf를 작성하고 있습니다. 왜냐하면 수업에서 배울 때 결코 배우고 싶지 않았기 때문입니다. 세 가지 방법으로 해결하면 더 잘 이해할 수 있기를 바랍니다.

— Alexander Engelhardt

아, 그러나 이것은 p = 2와 n = 2에 대한 것입니다. 내가 생각하는 n = 3으로 적어 두겠습니다.

— Alexander Engelhardt

13

Matrix cookbook의 수식을 사용할 수도 있습니다 . 우리는

(y - X β)^{'} (y - X β) = y^{'} y - β^{'} X^{'} y - y^{'} X β + β^{'} X^{'} X β

$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$

이제 각 항의 미분을 취하십시오. 당신은 그 통지를 할 수 있습니다 . 대한 용어 의 미분 은 0입니다. 나머지 기간 $\beta'X'y=y'X\beta$ $y'y$ $\beta$

β^{'} X^{'} X β - 2 y^{'} X β

$\beta'X'X\beta-2y'X\beta$

기능의 형태이다

f (x) = x^{'} A x + b^{'} x,

$f(x)=x'Ax+b'x,$

페이지 (11)이 책의 식 (88)에서와 , 및 . 유도체는 식 (89)에 주어진다 : $x=\beta$ $A=X'X$ $b=-2X'y$

\frac{\partial f}{\partial x} = (A + A^{'}) x + b

$\frac{\partial f}{\partial x}=(A+A')x+b$

그래서

\frac{\partial}{\partial β} (y - X β)^{'} (y - X β) = (X^{'} X + (X^{'} X)^{'}) β - 2 X^{'} y

$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$

이제 이후 원하는 솔루션을 얻습니다. $(X'X)'=X'X$

X^{'} X β = X^{'} y

$X'X\beta=X'y$

— mpiktas
소스

+1 mpiktas : 귀하의 솔루션은 저보다 독창적이며 더 복잡한 실제 상황에서 사용해야한다고 생각합니다.

— ocram

1

@ocram, 감사합니다. 나는 그것을 독창적이라고 부르지 않을 것이며, 그것은 기존 공식의 표준 응용 프로그램입니다. 당신은 단지 공식을 알아야합니다 :)

— mpiktas

8

다음은 실제로 더 일반적인 설정에 적용 할 수있는 유용한 회귀 분석에서 제곱합을 최소화하는 기술입니다.

벡터 행렬 미적분학을 완전히 피하려고 노력합시다.

을 최소화하는 데 관심이 있다고 가정합니다. 여기서 , 및 입니다. 간단히하기 위해 및 입니다.

E = (y - X β)^{T} (y - X β) = ‖ y - X β ‖_{2}^{2},

$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$

y \in R^{n}

$\my \in \reals^n$

X \in R^{n \times p}

$\mX \in \reals^{n\times p}$

β \in R^{p}

$\beta \in \reals^p$

p \leq n

$p \leq n$

r a n k (X) = p

$\mathrm{rank}(\mX) = p$

상관 없음 , 우리의 get $\bhat \in \reals^p$

이자형 = ” 와이 - 엑스 \hat{β} + 엑스 \hat{β} - 엑스 β ”_{2}^{2} = ” 와이 - 엑스 \hat{β} ”_{2}^{2} + ” 엑스 (β - \hat{β}) ”_{2}^{2} - 2 (β - \hat{β})^{티} {엑스}^{티} (와이 - 엑스 \hat{β}) .

$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$

우리가 벡터 선택하여 ( !) 오른쪽의 마지막 항이 모든 대해 0 이되도록하면 . $\bhat$ $\beta$ $\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

그러나, 모든 경우에만, 과 이 마지막 방정식은 경우에만 적용됩니다 . 따라서 를 취하면 가 최소화됩니다 . $(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$ $\beta$ $\mX^T (\my - \mX \bhat) = 0$ $\mX^T \mX \bhat = \mX^T \my$ $\err$ $\bhat = (\mX^T \mX)^{-1} \mX^T \my$

이것은 미적분학을 피하기위한 "트릭"처럼 보일 수 있지만 실제로는 더 넓은 적용 범위를 가지고 있으며 흥미로운 흥미로운 지오메트리가 있습니다.

이 기법 이 어떤 행렬-벡터 미적분학 접근법보다 유도를 훨씬 간단 하게 만드는 한 가지 예 는 행렬의 경우를 일반화 할 때입니다. 하자 , 및 . 매개 변수 의 전체 행렬 에 대해 을 최소화한다고 가정합니다 . 여기서 는 공분산 행렬입니다. $\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$ $\mX \in \reals^{n \times q}$ $\mB \in \reals^{q \times p}$

이자형 = 티 아르 자형 ((와이 - 엑스 비) Σ^{- 1} (와이 - 엑스 비)^{티})

$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$

B

$\mB$

Σ

$\Sigma$

위와 완전히 유사한 접근 방식 은 를 가져 와서 최소 는 것을 신속하게 확립합니다 즉, 반응이 공분산 가있는 벡터 이고 관측치가 독립적 인 회귀 설정에서 반응 의 성분에 대해 개의 선형 회귀를 수행하여 OLS 추정값을 얻을 수 있습니다. $\err$

\hat{비} = ({엑스}^{티} 엑스)^{- 1} {엑스}^{티} 와이 .

$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$

Σ

$\Sigma$

p

$p$

— 추기경
소스

다행히 포럼 규칙에 따라 모든 답변에 +1을 추가 할 수 있습니다. 교육 주셔서 감사합니다, 여러분!

— DWin

@DWin, 당신은 질문에 대한 의견 아래 이것을 게시한다는 의미입니까?

— 추기경

내가 가질 수 있다고 생각합니다. 나는 순차적으로 질문을 겪은 다음 모든 답변을 (MathML 처리가 중단 된 후) 각 답변을 발견했습니다. 나는 그것이 당신의 독서를 중단 한 곳이기 때문에 당신의 의견을 떨어 뜨 렸습니다.

— DWin

1

@DWin, 예, 렌더링은 약간 펑키합니다. 이 게시물에 투표가 없거나 (위 또는 아래로) 코멘트가 올바르지 않은 것 같으므로 다른 게시물에 대한 의견을 의도했을 수도 있습니다. 건배.

— 추기경

1

@cardinal +1, 유용한 트릭. 이 질문은 꽤 좋은 참고 자료로 판명되었습니다.

— mpiktas

6

이해하는 데 도움이 될 수있는 한 가지 방법은 행렬 대수를 사용하지 않고 각 구성 요소와 관련하여 차별화 한 다음 결과를 열 벡터에 "저장"하는 것입니다. 그래서 우리는 :

\frac{\partial}{\partial β_{케이}} \sum_{나는 = 1}^{엔} {({와이}_{나는} - \sum_{제이 = 1}^{피} {엑스}_{나는 제이} β_{제이})}^{2} = 0

$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$

이제 각 베타마다 하나씩 의 방정식이 있습니다. 이것은 체인 규칙의 간단한 적용입니다 : $p$

\sum_{나는 = 1}^{엔} 2 {({와이}_{나는} - \sum_{제이 = 1}^{피} {엑스}_{나는 제이} β_{제이})}^{1} (\frac{\partial}{\partial β_{케이}} [{와이}_{나는} - \sum_{제이 = 1}^{피} {엑스}_{나는 제이} β_{제이}]) = 0

$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$

- 2 \sum_{나는 = 1}^{엔} {엑스}_{나는 케이} ({와이}_{나는} - \sum_{제이 = 1}^{피} {엑스}_{나는 제이} β_{제이}) = 0

$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$

이제 대괄호 안에 합계를 그러면 다음과 같은 이점이 있습니다. $\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

\sum_{나는 = 1}^{엔} {엑스}_{나는 케이} {와이}_{나는} - \sum_{나는 = 1}^{엔} {엑스}_{나는 케이} {엑스}_{나는}^{티} β = 0

$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$

이제이 방정식들 중 가 있고 열 벡터에 "스택"할 것입니다. 이 의존하는 유일한 용어 인 방법에 주목 하십시오.이를 벡터 쌓을 수 있습니다 . $p$ $X_{ik}$ $k$ $\bf{x}_{i}$

\sum_{나는 = 1}^{엔} {엑스}_{나는} {와이}_{나는} = \sum_{나는 = 1}^{엔} {엑스}_{나는} {엑스}_{나는}^{티} β

$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$

이제 우리는 베타를 합계 밖으로 가져갈 수 있지만 (합계의 RHS를 유지해야 함) invervse를 취하십시오.

{(\sum_{나는 = 1}^{엔} {엑스}_{나는} {엑스}_{나는}^{티})}^{- 1} \sum_{나는 = 1}^{엔} {엑스}_{나는} {와이}_{나는} = β

$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$

— 확률 론적
소스