Bayes / MCMC에 대한 좋은 글을 보았습니다. IT는 독립 변수를 표준화하면 MCMC (Metropolis) 알고리즘이 더 효율적일뿐만 아니라 (다중) 공선 성을 줄일 수 있다고 제안합니다. 사실일까요? 이것이 표준으로 해야 할 일입니까? (죄송합니다).

Kruschke 2011, 베이지안 데이터 분석. (AP)

편집 : 예를 들어

     > data(longley)
     > cor.test(longley$Unemployed, longley$Armed.Forces)

Pearson's product-moment correlation

     data:  longley$Unemployed and longley$Armed.Forces 
     t = -0.6745, df = 14, p-value = 0.5109
     alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
     -0.6187113  0.3489766 
     sample estimates:
      cor 
     -0.1774206 

     > standardise <- function(x) {(x-mean(x))/sd(x)}
     > cor.test(standardise(longley$Unemployed), standardise(longley$Armed.Forces))

Pearson's product-moment correlation

     data:  standardise(longley$Unemployed) and standardise(longley$Armed.Forces) 
     t = -0.6745, df = 14, p-value = 0.5109
      alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
      -0.6187113  0.3489766 
      sample estimates:
       cor 
     -0.1774206 

이것은 상관 관계를 감소시키지 않았으므로 벡터의 선형 의존성은 제한적입니다.

무슨 일이야?

아르 자형

주 효과 간의 공선 성을 전혀 바꾸지 않습니다. 스케일링도 마찬가지입니다. 선형 변환은 그렇게하지 않습니다. 변경되는 것은 주 효과와 상호 작용의 상관 관계입니다. A와 B가 0의 상관 관계로 독립적 인 경우에도 A와 A : B 사이의 상관 관계는 스케일 팩터에 따라 달라집니다.

R 콘솔에서 다음을 시도하십시오. 참고 rnorm다만이 경우 50 개 샘플에서, 사용자가 설정 한 인구 값을 갖는 정규 분포에서 무작위 샘플을 생성합니다. 이 scale함수는 샘플을 평균 0과 SD 1로 표준화합니다.

set.seed(1) # the samples will be controlled by setting the seed - you can try others
a <- rnorm(50, mean = 0, sd = 1)
b <- rnorm(50, mean = 0, sd = 1)
mean(a); mean(b)
# [1] 0.1004483 # not the population mean, just a sample
# [1] 0.1173265
cor(a ,b)
# [1] -0.03908718

이러한 독립 샘플의 우발적 상관 관계는 0에 가깝습니다. 이제 평균 0과 SD 1로 정규화하십시오.

a <- scale( a )
b <- scale( b )
cor(a, b)
# [1,] -0.03908718

또,이 평균은 모두 0 SD = 1 인 경우에도 동일한 값으로 a하고 b.

cor(a, a*b)
# [1,] -0.01038144

이것은 또한 0에 매우 가깝습니다. (a * b는 교호 작용 항으로 간주 될 수 있습니다)

그러나 일반적으로 SD와 예측 변수의 평균은 약간 다르므로 변경합시다 b. 새 샘플을 가져 오는 대신 원본의 크기 b를 5로, SD를 2로 조정합니다.

b <- b * 2 + 5
cor(a, b)
 # [1] -0.03908718

다시, 우리는 친숙한 상관 관계를 보았습니다. 스케일링의 상관 관계에 영향이없는있다 a및 b. 그러나!!

cor(a, a*b)
# [1,] 0.9290406

이제는 중심화 및 / 또는 표준화를 통해 멀리 갈 수있는 실질적인 상관 관계가 있습니다. 나는 일반적으로 단지 중심으로 간다.

다른 사람들이 이미 언급했듯이 표준화는 실제로 공선 성과 관련이 없습니다.

완벽한 공선 성

의 무엇부터 시작하자 표준화 는 평균을 뺀 결과 평균 IS 화합 제로와 표준 편차에 동일 있도록 표준 편차로 나누어있다가 우리가 무엇을 의미하는지에 관해 (정상화 일명)이다. 따라서 랜덤 변수 $X$ 평균 $\mu_X$ 및 표준 편차 $\sigma_X$ 인 경우

$$\newcommand{Var}{\mathrm{Var}} Z_X = \frac{X - \mu_X}{\sigma_X}$$

$\mu_Z = 0$$\sigma_Z = 1$$E(X + a) = E(X) + a$$E(bX) = b\,E(X)$$\Var(X + a) = \Var(X)$$\Var(bX) = b^2 \Var(X)$$X$$a,b$

$X$$Y$$\lambda_0$$\lambda_1$

$$Y = \lambda_0 + \lambda_1 X$$

$X$$\mu_X$$\sigma_X$$Y$$\mu_Y = \lambda_0 + \lambda_1 \mu_X$$\sigma_Y = \lambda_1 \sigma_X$$Z_X = Z_X$

상관 관계

물론 완벽한 공선 성은 종종 우리가 볼 수있는 것이 아니라, 강한 상관 관계가있는 변수도 문제가 될 수 있습니다 (그리고 그것들은 공선 성과 관련된 종입니다). 표준화가 상관 관계에 영향을 미칩니 까? 스케일링 전후에 두 개의 플롯에서 두 개의 상관 변수를 보여주는 다음 플롯을 비교하십시오.

차이점을 알 수 있습니까? 보시다시피, 의도적으로 축 레이블을 제거 했으므로 부정 행위가 아니라고 확신하게하려면 레이블이 추가 된 플롯을 참조하십시오.

상관 관계 가 다음 과 같은 경우 수학적으로 말하기

$$\newcommand{Corr}{\mathrm{Corr}} \newcommand{Cov}{\mathrm{Cov}} \Corr(X, Y) = \frac{\Cov(X,Y)}{\Var(X)\,\Var(Y)}$$

공선 변수로 우리는

$$\require{cancel} \begin{align} \Corr(X, Y) &= \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y} \\ &=\frac{E[(X - \mu_X)(\cancel{\lambda_0} + \lambda_1 X - \cancel{\lambda_0} - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)(\lambda_1 X - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)\lambda_1( X - \mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{\cancel{\lambda_1} E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\;\cancel{\lambda_1}\sigma_X} \\ &= \frac{E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\sigma_X} \end{align}$$

$\Cov(X,X) = \Var(X)$

$$\begin{align} &= \frac{\Cov(X, X)}{\sigma_X^2} = \frac{\Var(X)}{\Var(X)} = 1 \end{align}$$

표준화 된 변수를 사용하는 동안

$$\begin{align} \Corr(Z_X, Z_Y) &= \frac{E[(Z_X - 0)(Z_Y - 0)]}{1 \times 1} \\ &= \Cov(Z_X, Z_Y) = \Var(Z_X) = 1 \end{align}$$

$Z_X = Z_Y$

마지막으로 Kruschke가 말하고 있는 것은 변수 를 표준화 하면 Gibbs 샘플러의 삶이 더 쉬워지고 제시 한 회귀 모델에서 절편과 기울기 사이 의 상관 관계가 감소한다는 것입니다 . 그는 변수를 표준화하면 변수 간의 공선 성이 감소한다고 말하지 않습니다.

표준화는 변수 간의 상관에 영향을 미치지 않습니다. 그들은 정확히 동일하게 유지됩니다. 상관 관계는 변수 방향의 동기화를 캡처합니다. 변수의 방향을 바꾸는 표준화는 없습니다.

변수 사이의 다중 공선 성을 제거하려면 주성분 분석 (PCA)을 사용하는 것이 좋습니다. 아시다시피 PCA는 다중 공선 성 문제를 제거하는 데 매우 효과적입니다. 반면 PCA는 결합 된 변수 (주성분 P1, P2 등)를 불투명하게 만듭니다. PCA 모델은 기존의 다변량 모델보다 설명하기가 항상 더 어렵습니다.

공선 성을 줄이지 않고 VIF를 줄일 수 있습니다. 일반적으로 우리는 공선성에 대한 우려를 나타내는 지표로 VIF를 사용합니다.

출처 : http://blog.minitab.com/blog/adventures-in-statistics-2/what-are-the-effects-of-multicollinearity-and-when-can-i-ignore-them

표준화는 공선 성을 줄이는 일반적인 방법입니다. (두 쌍의 변수에 대해 시도하여 작동하는지 매우 빠르게 확인할 수 있어야합니다.) 일상적으로 수행하는지 여부는 분석에서 문제의 공선 성이 얼마나 많은지에 달려 있습니다.

편집 : 오류가 발생했습니다. 그러나 표준화가하는 것은 제품 용어 (상호 작용 용어)와의 공선 성을 줄이는 것입니다.