일반화 된 최소 제곱 : 회귀 계수에서 상관 계수까지?

예측 변수가 하나 이상인 제곱의 경우 :

$y = \beta x + \epsilon$

피팅하기 전에 와 가 표준화 된 경우 (예 : ) :$x$$y$$\sim N(0,1)$

• $\beta$ 는 Pearson 상관 계수 .$r$
• $\beta$반사 회귀 분석에서 는 동일합니다.$x = \beta y + \epsilon$

일반 최소 제곱 (GLS)의 경우에도 동일하게 적용됩니까? 즉, 데이터를 표준화하면 회귀 계수에서 직접 상관 계수를 얻을 수 있습니까?

데이터 실험에서 반영된 GLS는 다른 계수로 이어지고 회귀 계수가 예상되는 상관 값과 일치한다고 확신하지 않습니다. 나는 사람들이 GLS 상관 계수를 인용한다는 것을 알고 있으므로 그들이 어떻게 도달하고 실제로 의미하는지 궁금합니다.$\beta$

대답은 그렇습니다. 선형 회귀 계수는 예측 변수와 반응의 상관 관계 이지만 올바른 좌표계를 사용하는 경우에만 가능합니다 .

무슨 뜻인지 알기 위해 및 가 중심에 있고 표준화 된 경우 각 와 의 상관 관계 는 내적 일뿐 입니다. 또한 선형 회귀에 대한 최소 제곱 솔루션은$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

그렇게되면 (정체 행렬)이됩니다.$X^{t} X = I$

$$\beta = X^t y$$

상관 벡터를 복구합니다. 를 만족하는 예측 변수 관점에서 회귀 문제를 재조정하는 것이 종종 매력적 입니다. 또는 동등하게, 좌표의 선형 변화); 이 새로운 예측 변수를 주성분이라고합니다.$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

따라서 전반적으로 귀하의 질문에 대한 대답은 그렇습니다. 단, 예측 변수가 서로 관련이없는 경우에만 가능합니다 . 그렇지 않으면, 표현

$$X^t X \beta = X^t y$$

는 예측 자-반응 상관 관계를 회복하기 위해 베타가 예측 자 자체 간의 상관 과 함께 혼합 되어야 함을 보여준다 .

참고로, 이것은 하나의 변수 선형 회귀에 대해 결과가 항상 참인 이유를 설명합니다. 예측 변수 벡터 가 표준화되면 다음이 수행됩니다.$x$

$$x_0^t x = \sum_i x_{i} = 0$$

여기서 은 모든 것의 절편 벡터입니다. 따라서 (2 열) 데이터 행렬 자동으로 충족 시키며 결과는 다음과 같습니다.$x_0$$X$$X^t X = I$