뒤에 직관

선형 회귀 분석에서 닫힌 형태의 w는 다음과 같이 쓸 수 있습니다.

$\hat{w}=(X^TX)^{-1}X^Ty$

이 방정식에서 의 역할을 직관적으로 설명 할 수 있습니까?$(X^TX)^{-1}$

이 게시물이 특히 유용하다는 것을 알았습니다.

다중 선형 회귀 분석을 위해 최소 제곱 추정기를 도출하는 방법은 무엇입니까?

SVD와 PCA의 관계. SVD를 사용하여 PCA를 수행하는 방법?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

경우 인$X$ 다음 행렬 행렬 X ( X T X ) - 1 X T 정의투영의 열 공간 상 X는 . 직관적으로, 당신은 방정식의 중복 - 결정된 시스템을 가지고,하지만 여전히 선형지도의 정의를 사용하려면 R의 P → R 행을 매핑합니다 X 난을 의 X 값에 뭔가 가까이에 y를 난 , 난 ∈ { 1 , ... , N $n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$. 따라서 우리는 를 y에 가장 가까운 것에 보내고 당신의 특징 ( X 열)의 선형 조합으로 표현할 수 있습니다 . $X$$y$$X$

지금까지의 해석으로 , 나는 아직 놀라운 대답이 없습니다. ( X T X ) 를 기본적으로 데이터 세트의 공분산 행렬로 생각할 수 있다는 것을 알고 있습니다 .$(X^TX)^{-1}$$(X^TX)$

기하학적 관점

기하학적 점은 N 차원 벡터 등일 수 및 X β N 차원 공간에있는 점 V . 여기서 X β 부분 공간에 또한 W 벡터에 의해 스패닝는 X 1 , X 2 , ⋯ , X의 m이 .$y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

두 가지 유형의 좌표

이 부분 공간 두 가지 다른 유형의 좌표를 상상할 수 있습니다 .$W$

• $\boldsymbol{\beta}$ 좌표 일정한 공간에 대한 좌표 같다. 벡터공간 W z 는 벡터 x i z = β 1 x 1 + β 2 x 1 + 의 선형 조합입니다 . . . . β m의 엑스 $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• $\boldsymbol{\alpha}$ 일반적인 의미에서 좌표 아니지만, 그들은 아 공간의 한 점을 정의 할 . 각각의 α i 는 벡터 x i 에 대한 수직 투영 과 관련이 있습니다. 단위 벡터 x i (간단 함을 위해)를 사용하면 벡터 z에 대한 "좌표" α i 는 다음과 같이 표현 될 수 있습니다.$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  모든 좌표 세트는 다음과 같습니다.

$$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$$

---

좌표 와 β 사이의 매핑$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

대해 "좌표"발현 α 좌표로부터 변환된다 β "좌표"로 $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

$$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$$

는 각 x i 가 다른 x j 에 얼마나 많은 양을 투영 하는지를 나타내는 것으로 볼 수 있습니다$(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

그 다음의 기하학적 해석 벡터 투영 "좌표"의 맵으로 알 수있는 α 선형 좌표 β .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

$$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$$

식 투영 "좌표"범 Y를 과 ( X T X ) - 1 개 로 변한다들을 β .$\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

---

참고 :의 투영 "좌표" 동일의 투영 "좌표"로 Y 사람 ( Y - Y ) ⊥ X .$\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

$$y_i=\alpha+\beta x_i+\varepsilon_i$$ $$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$$

$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$