설명 변수의 순서는 회귀 계수를 계산할 때 중요합니까?

처음에는 순서가 중요하지 않다고 생각했지만 여러 회귀 계수를 계산하는 그램 슈미트 직교 화 프로세스에 대해 읽었으며 이제는 두 번째 생각을하고 있습니다.

그램-슈미트 공정에 따르면, 설명 변수가 다른 변수들 사이에서 색인화 될 때, 그 잔여 벡터는 더 작을 수 있는데, 그 이유는 이전 변수의 잔여 벡터가 그로부터 제거되기 때문이다. 결과적으로, 설명 변수의 회귀 계수도 더 작습니다.

이것이 사실이라면, 더 적은 수의 잔여 벡터를 빼기 때문에 해당 변수의 잔차 벡터가 더 일찍 색인화되면 더 커집니다. 이것은 회귀 계수도 더 크다는 것을 의미합니다.

좋아, 그래서 나는 나의 질문을 명확히하도록 요청 받았다. 그래서 처음부터 혼란 스러웠던 텍스트의 스크린 샷을 게시했습니다. 알았어

내 이해는 회귀 계수를 계산하는 데 적어도 두 가지 옵션 이 있다는 것 입니다. 첫 번째 옵션은 아래 스크린 샷에서 (3.6)으로 표시되어 있습니다.

두 번째 옵션은 다음과 같습니다 (여러 스크린 샷을 사용해야했습니다).

내가 뭔가를 잘못 읽지 않는 한 (확실히 가능합니다) 순서는 두 번째 옵션에서 중요합니다. 첫 번째 옵션에서 문제가됩니까? 그 이유는 무엇? 아니면 내 참조 프레임이 너무 엉망이어서 이것이 유효한 질문조차 아니습니까? 또한,이 유형 I 제곱합 대 유형 II 제곱합과 관련이 있습니까?

미리 감사드립니다. 혼란 스러워요!

혼란이 조금 더 간단한 것으로 인해 발생할 수 있다고 생각하지만 관련 문제를 검토 할 수있는 좋은 기회를 제공합니다.

본문은 모든 회귀 계수가 라고 주장 하지 않습니다. 는 연속 잔차 벡터를 통해 있지만 오히려 이 방법으로 마지막 하나 인 만 계산할 수 있습니다!$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

연속적인 직교 화 체계 (Gram-Schmidt 직교 화의 형태)는 (거의) 한 쌍의 행렬을 생성합니다. 그리고 와 같이 여기서 는 직교 정규 열 이있는 이고 는 위 삼각형입니다. 알고리즘은 일반적으로 열이 아닌 열의 규범까지 를 지정하기 때문에 "거의"라고 말하지만 열을 정규화하고 좌표에 해당하는 간단한 조정을 수행하여 단위 규범을 가질 수 있습니다. 매트릭스 .$\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$$\G$

$$\m X = \Z \G \>,$$ $\Z$$n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

물론 순위가 하면 고유 최소 제곱 솔루션은 시스템을 해결하는 벡터$\m X \in \mathbb R^{n \times p}$$p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

대체 하고 (구성에 의해)을 사용하면 이는 $\m X = \Z \G$$\Z^T \Z = \m I$

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

이제 선형 시스템 의 마지막 행에 집중하십시오 . 마지막 행에서 의 0이 아닌 유일한 요소 는 입니다. 그래서 우리는 그것은 (! 이해하는 검사로이를 확인) 것을보고 어려운 일이 아니다따라서 솔루션이 생성됩니다. ( 주의 사항 : 나는 이미 표준화 한 단위 규범을 사용했지만 책에서는 그렇지 않습니다 . 이것은 책이 분모에 제곱 규범을 가지고 있지만, 나는 규범 만 가지고 있다는 사실을 설명합니다.)$\G$$g_{pp}$

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ $g_{pp} = \|\z_p\|$$\z_i$

모든 회귀 계수 를 찾으려면 개별 대한 간단한 단계를 수행해야합니다 . 예를 들어 행의 경우 그래서 이 절차는 시스템의 마지막 행에서 첫 번째 행까지 "뒤로"계속 진행하여 이미 계산 된 회귀 계수의 가중 합계를 빼고 의 주요 용어로 나누어 를 얻을 수 있습니다.$\bhat_i$$(p-1)$

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

ESL 섹션의 요점은 의 열을 재정렬하여 새로운 행렬 을 얻을 수 있다는 것 입니다. 번째 원본 열은 이제 마지막 열입니다. 새 행렬에 Gram–Schmidt 프로 시저를 적용하면 위의 간단한 솔루션으로 원래 계수 대한 해를 도록 새로운 직교 화를 얻습니다 . 이것은 회귀 계수 대한 해석 을 제공합니다 . 에서 설계 행렬의 나머지 열을 "회귀"하여 얻은 잔차 벡터에 대한 일 변량 회귀입니다 .$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

일반적인 QR 분해

Gram–Schmidt 프로시 저는 의 QR 분해를 생성하는 한 가지 방법 일뿐 입니다. 실제로, 그람-슈미트 (Gram-Schmidt) 절차보다 다른 알고리즘 접근법을 선호해야하는 많은 이유가 있습니다.$\m X$

가계 반사와 기븐스 회전은이 문제에 대해보다 수치 적으로 안정적인 접근법을 제공합니다. QR 분해의 일반적인 경우에는 위의 개발이 변경되지 않습니다. 즉하자 될 임의 의 QR 분해 . 이어서, 상기와 동일 추론 대수 조작을 이용하여, 우리가 그 최소 제곱 솔루션 만족 이는 로 단순화됩니다 이후 상위 삼각, 다음 같은 backsubstitution 기법의 작품이다. 우리는 먼저 해결합니다.

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$아래에서 위로 거꾸로 진행하십시오. 선택을 위해 하는 QR 분해 알고리즘 일반적으로 이러한 관점에서, 수치 적 불안정성을 제어하고에 경첩을 사용하는 그람 - 슈미트는 일반적으로 경쟁 방식이 아니다.

를 직교 행렬로 분해하는 이러한 개념은 다른 것보다 조금 더 일반화 될 수 있으며 적합 벡터 대한 매우 일반적인 형태를 얻기 위해 조금 더 일반화 될 수 있지만이 응답이 이미 너무 길어질 까 걱정됩니다 .$\m X$$\hat{\m y}$

나는 책을 살펴 보았고 운동 3.4는 GS를 사용하여 모든 회귀 계수 (최종 계수 뿐만 아니라) 를 찾는 데 도움이 될 것 같습니다. 그래서 나는 해결책을 입력했습니다. 유능한.$\beta_j$$\beta_p$

ESL 연습 3.4

Gram-Schmidt 절차의 단일 패스에서 최소 제곱 계수의 벡터를 얻는 방법을 보여줍니다. 의 QR 분해 측면에서 솔루션을 나타 냅니다. $X$

해결책

Gram-Schmidt 프로 시저의 단일 패스를 통해 행렬 를 로 작성할 수 있습니다 여기서 는 직교 열 를 포함하고 는 대각선에 행렬이있는 각 행렬입니다. . 이것은 정의상$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

이제 분해로 쓸 수 있습니다 . 여기서 는 직교 행렬이고 은 상위 삼각 행렬입니다. 우리는 과 . 여기서 는. $QR$$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

지금의 정의에 의해 , 우리가 이제 분해를 사용하여$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$ 은 삼각 삼각형이므로이전 결과에 따라 입니다. 이제 역 치환을 통해 회귀 계수 의 시퀀스를 얻을 수 있습니다 . 예로서, 계산 우리가 가지고

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ 그런 다음 을 해결하십시오 . 이 과정은 모든 대해 반복 될 수 있으므로 , 그람-슈미트 절차의 한 번의 통과로 회귀 계수를 얻을 수 있습니다 .$\hat \beta_{p-1}$$\beta_j$

시도하고 비교해보십시오. 회귀 계수 세트를 피팅 한 다음 순서를 변경하고 다시 피팅하고 차이가 있는지 확인하십시오 (반올림 오류 가능).

@mpiktas가 지적한 것처럼 정확히 무엇을하고 있는지 명확하지 않습니다.

최소 제곱 방정식 에서 를 풀기 위해 GS를 사용하는 것을 볼 수 있습니다 . 그러나 원본 데이터가 아닌 행렬 에서 GS를 수행합니다 . 이 경우 계수는 같아야합니다 (반올림 오류 가능성 제외).$B$$(x'x)B=(x'y)$$(x'x)$

회귀 분석에서 GS의 또 다른 접근법은 예측 변수에 GS를 적용하여 변수 간의 공선 성을 제거하는 것입니다. 그런 다음 직교 화 된 변수가 예측 변수로 사용됩니다. 이 경우 계수의 해석은 순서에 따라 달라 지므로 순서가 중요하고 계수가 달라집니다. 두 개의 예측 변수 및 고려 하여 순서대로 GS를 수행 한 다음 예측 변수로 사용하십시오. 그런 경우 (절편 후) 제 1 계수 프로그램의 효과에서 에 자신과 제 계수의 효과 에 조정 한 후$x_1$$x_2$$x_1$$y$$x_2$$y$$x_1$. 이제 x의 순서를 반대로 첫 번째 계수는 가 에 미치는 영향을 자체적으로 표시하고 ( 조정하지 않고 무시 ) 두 번째는 이 대해 조정 하는 효과입니다 .$x_2$$y$$x_1$$x_1$$x_2$