가

Cosma Shalizi의 강의 노트 (특히 두 번째 강의 섹션 2.1.1)를 훑어 보았 으며 완전히 선형 인 모델을 사용하더라도 가 매우 낮아질 수 있음을 상기 시켰습니다 $R^2$.

Shalizi의 예를 의역 : 당신이 모델이 있다고 가정 $Y = aX + \epsilon$ , $a$ 알려져있다. 그런 다음 이며 설명 된 분산 량은 따라서 입니다. 이것은 되고 \ Var [X] \ rightarrow \ infty로 1이 됩니다.$\newcommand{\Var}{\mathrm{Var}}\Var[Y] = a^2 \Var[x] + \Var[\epsilon]$$a^2 \Var[X]$ Var[X]→0Var[X]→$R^2 = \frac{a^2 \Var[x]}{a^2 \Var[X] + \Var[\epsilon]}$$\Var[X] \rightarrow 0$$\Var[X] \rightarrow \infty$

반대로, 모델이 눈에 띄게 비선형 $R^2$ 때도 높은 R ^ 2를 얻을 수 있습니다 . (누군가 좋은 예가 있습니까?)

그래서 때입니다 $R^2$ 유용한 통계, 때 무시해야 하는가?

첫 번째 질문 을 해결하려면 모형을 고려하십시오.

$$Y = X + \sin(X) + \varepsilon$$

평균 제로 및 유한 분산의 iid . 의 범위 (고정 또는 랜덤으로 생각됨)가 증가함에 따라, 는 로 간다. 그럼에도 불구하고, 의 분산 이 작은 경우 (약 1 이하), 데이터는 "눈에 띄게 비선형"이다. 그림에서 입니다.X R 2 ε v a r ( ε ) = $\varepsilon$$X$$R^2$$\varepsilon$$var(\varepsilon)=1$

또한 작은 를 얻는 쉬운 방법 은 독립 변수를 좁은 범위로 슬라이스하는 것입니다. 모든 데이터를 기반으로 한 전체 회귀 분석의 가 높은 경우에도 각 범위 내에서 회귀 분석 ( 정확히 동일한 모델 사용 )은 가 낮습니다 . 이 상황을 고려하는 것은 유익한 운동이며 두 번째 질문에 대한 준비입니다.R 2 R $R^2$$R^2$$R^2$

다음 그림 모두 동일한 데이터를 사용합니다. 전체 회귀는 0.86이다. 슬라이스 의 (-5/2에서 5/2 사이의 너비 1/2)는 .16, .18, .07, .14, .08, .17, .20, .12, .01입니다. , .00, 왼쪽에서 오른쪽으로 읽습니다. 10 개의 개별 라인이 좁은 범위 내에서 데이터에보다 밀접하게 일치 할 수 있기 때문에 슬라이스 상황에서 적합도가 향상 됩니다. 있지만 모든 슬라이스 멀리 전체 이하 , 어느 것도 관계의 강도 선형성 없으며 실제로 모든 데이터의 형태 (내지 제외한 회귀에 사용)로 변경 하였다.R 2 R 2 R 2$R^2$$R^2$$R^2$$R^2$$X$

(이 슬라이싱 프로 시저가 분포를 변경한다고 반대 할 수도 있습니다 . 그러나 사실이지만 고정 효과 모델링에서 를 가장 일반적으로 사용하는 것과 일치하며 가 우리에게 알려주 는 정도를 보여줍니다 랜덤 효과 상황에서 분산 특히 가 자연 범위의 작은 간격 내에서 변화하도록 제한되는 경우 는 일반적으로 감소합니다.)R 2 R 2 X X R $X$$R^2$$R^2$$X$$X$$R^2$

의 기본 문제 는 너무 많은 것들 (여러 회귀로 조정될 때조차도)에 의존하지만 가장 독립적 인 변수의 분산과 잔차의 분산에 달려 있다는 것입니다. 일반적으로 모델 시퀀스를 비교하기위한 "선형성"또는 "관계 강도"또는 "적합성"에 대해서는 아무 것도 알려주지 않습니다 .$R^2$

대부분의 경우 보다 더 나은 통계를 찾을 수 있습니다 . 모델 선택의 경우 AIC 및 BIC를 볼 수 있습니다. 모형의 적정성을 표현하기 위해 잔차의 분산을 살펴보십시오. $R^2$

이것은 우리를 마침내 두 번째 질문 으로 인도합니다 . 가 일부 사용 하는 상황 중 하나 는 독립 변수가 표준 값으로 설정되어 본질적으로 분산의 영향을 제어하는 ​​경우입니다. 그러면 는 실제로 잔차의 분산에 대한 대리이며 적절하게 표준화됩니다. 1 - R $R^2$$1 - R^2$

예제는 변수 가 모델에 있어야 하는 경우에만 적용됩니다 . 일반적인 최소 제곱 추정을 사용할 때는 확실히 적용되지 않습니다. 이를 확인하기 위해 귀하의 예에서 최소 제곱을 추정 하면 다음과 같은 결과를 얻습니다.$\newcommand{\Var}{\mathrm{Var}}X$ $a$

여기서s 2 X =

$$\hat{a}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{\frac{1}{N}\sum_{i=1}^{N}X_{i}^{2}}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{s_{X}^{2}+\overline{X}^{2}}$$ 상기 (샘플)의 분산X및 ¯ X =$s_{X}^2=\frac{1}{N}\sum_{i=1}^{N}(X_{i}-\overline{X})^{2}$$X$의 (시료) 평균 인$\overline{X}=\frac{1}{N}\sum_{i=1}^{N}X_{i}$$X$

$$\hat{a}^{2}\Var[X]=\hat{a}^{2}s_{X}^{2}=\frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}\left(\frac{s_{X}^{2}}{s_{X}^{2}+\overline{X}^{2}}\right)^2$$

이제 두 번째 항은 항상 보다 작습니다 ( 한계의 1 과 같음 ) . 변수 X 에서 R 2 에 대한 기여 의 상한 을 얻습니다 .$1$$1$$R^2$$X$

$$\hat{a}^{2}\Var[X]\leq \frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}$$

그리고 그렇지 않으면 또한 실제로 우리는R2→0을s 2 X →∞로보게됩니다(분자는 0이되지만 분모는Var[ϵ]>0). 또한,두 항이 얼마나 빨리 분기되는지에 따라R2가0에서1사이의 수렴될 수 있습니다. 이제 위의 용어는 일반적으로$\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2\to\infty$$R^2\to 0$$s_{X}^{2}\to\infty$$\Var[\epsilon]>0$$R^2$$0$$1$ 하면 X가 모델에 있어야하고, 경우 느린 X가 모델에 있으면 안됩니다. 두 경우 모두 R 2 는 올바른 방향으로 진행됩니다.$s_{X}^2$$X$$X$$R^2$

또한 유한 데이터 세트 (즉, 실제 데이터 세트)의 경우 모든 오류가 정확히 0이 아니면 가질 수 없습니다 . 이것은 기본적으로 R 2 가 절대 측정 값이 아니라 상대 측정 값 임을 나타냅니다 . R 2 가 실제로 1 과 같지 않으면 항상 더 적합한 피팅 모델을 찾을 수 있습니다. 이것은 아마의 "위험한"측면이다 R 2 사이가되도록 조정되기 때문에 점에서 0 과 1 우리가 절대적인 의미에서 해석 할 수있는 것 같다.$R^2=1$$R^2$$R^2$$1$$R^2$$0$$1$

변수를 모델에 추가 할 때 얼마나 빨리 떨어지는 지 살펴 보는 것이 더 유용 할 것 입니다. 마지막으로, 변수 선택에서 R 2 가 효과적으로 충분한 통계량이므로 변수 선택에서 무시해서는 안됩니다. 여기에는 데이터에있는 변수 선택에 대한 모든 정보가 포함됩니다. 필요한 유일한 것은 "오류 맞추기"에 해당하는 R 2 의 드롭을 선택하는 것입니다. 일반적으로 샘플 크기와 변수 수에 따라 다릅니다.$R^2$$R^2$$R^2$

가 위험한 시기의 예를 추가 할 수 있다면 . 몇 년 전 저는 생체 데이터를 연구하고 젊고 어리석은 일이었습니다 . 단계별 함수를 사용하여 만든 멋진 회귀에 대해 통계적으로 유의 한 R 2 값을 찾았을 때 기뻤 습니다. 인구에 대한 샘플의 불량 표현,와 함께 - 그것은 단지 이후 많은 국제 청중에게 나의 프리젠 테이션 후보고되었다 나는 데이터의 거대한 변화를 주어 실현 한 R 이 0.02도 완전히 무의미 "통계적으로 유의 한"경우 ...$R^2$$R^2$$R^2$

통계를 다루는 사람들은 데이터를 이해해야합니다!

단일 예측 변수가있는 경우 는 X 와의 선형 관계 로 설명 할 수있는 Y 의 변동 비율로 ​​정확하게 해석됩니다 . 이 해석은 R 2 의 값을 볼 때 명심해야합니다 .$R^{2}$$Y$$X$$R^2$

관계가 선형에 가까울 때만 비선형 관계에서 큰 를 얻을 수 있습니다 . 예를 들어, Y = e X + ε 여기서 X ∼ U n i f o r m ( 2 , 3 ) 및 ε ∼ N ( 0 , 1 )이라고 가정하십시오 . 당신이 계산하면$R^2$$Y = e^{X} + \varepsilon$$X \sim {\rm Uniform}(2,3)$$\varepsilon \sim N(0,1)$

$$R^{2} = {\rm cor}(X, e^{X} + \varepsilon)^{2}$$

당신은 주위가 될 찾을 수 의 관계가 명확하게 선형되지 않도록에도 불구하고 (난 단지 시뮬레이션이 근사). 그 이유 인 전자 X는 간격 동안 선형 함수 등 엄청 많이 보인다 ( 2 , 3 ) .$.914$$e^{X}$$(2,3)$

$R^2$$R^2$$R^2$

$\bar{R}^2 = 1 - (1-R^2)\frac{n-1}{n-p-1}$$n$$p$

1. $R^2$$y=x^2$$[0,1]$$R^2$$[0, 1]$$R^2$

2. $R^2$$Y= x + \epsilon$$R^2$$R^2$

3. $R^2$$R^2$