결과 변수가 예측 변수에 "회귀되어"있다고 말하는 이유는 무엇입니까?

이 용어에 대한 직관적 인 설명이 있습니까? 왜 이런 식으로 예측 결과가 회귀되지 않습니까?

이상적으로 나는이 용어가 존재하는 이유에 대한 적절한 설명이 학생들이 그 단어를 기억하고 잘못된 방식으로 말하는 것을 막는 데 도움이되기를 희망합니다.

나는 "회귀하다"라는 어원이 무엇인지 모르지만 여기에이 표현을 말하거나들을 때 염두에 둔 해석이 있습니다. Hastie 등 의 통계 학습 요소 에서 다음 그림을 고려하십시오 .

그것의 핵심에서, 선형 회귀 는 (onto) X 에서 직교 투영에 해당합니다 . 여기서 y 는 종속 변수의 관측치의 n 차원 벡터이고 X 는 예측 변수 벡터에 의해 포함 된 부분 공간입니다.$\mathbf y$$\mathbf X$$\mathbf y$$n$$\mathbf X$

이것은 선형 회귀에 대한 매우 유용한 해석입니다.

때문에 에 투사되는 X , 그게 내가 듣고 때 내가 무슨 생각입니다 y는 "에 회귀"입니다 X . 이러한 점에서, 말을 적게 나을 X가 에 회귀한다 Y 또는 Y는 나 "와" "에 대해"회귀한다 X .$y$$X$$y$$X$$X$$y$$y$$X$

이상적으로 나는이 용어가 존재하는 이유에 대한 적절한 설명이 학생들이 그 단어를 기억하고 잘못된 방식으로 말하는 것을 막는 데 도움이되기를 희망합니다.

내가 말했듯이, 이것이 왜이 용어가 존재하는지에 대한 설명 일지 의심 스럽지만 (어쩌면 그것이 왜 지속 되는가)? 학생들이 그것을 기억하는데 도움이 될 것이라고 확신합니다.

나는 종종 이런 말을 사용하고 들었습니다. 예측 자 이전의 결과 또는 응답을 언급하는 시퀀스는 단어를 사용하거나 표기법을 사용하거나 두 가지를 혼합하는 관례를 따릅니다.

$Y = X\beta$

우리가 다른 종류의 변수라고 부르는 것에 대해 똑같이 흥미로운 (또는 흥미롭지 않은!) 질문을 따로 설정하십시오.

그러나 많은 수학자들이 먼저 인수를 사용하여 매핑 또는 함수를 작성하는 것처럼 수학적으로나 통계적으로 예측자를 먼저 언급하는 것도 똑같이 유효한 것 같습니다.

통계 토론에서 우리가 사용하는 순서를 주도하는 것은 과학적으로나 실제로 과학적으로나 실제로 우리가 예측하려고하는 것에 대한 명확한 아이디어를 가지고 있다는 것입니다. 잠재적 인 예측 변수 또는 실제 예측 변수가 명확하지 않을 수 있습니다. 분명하더라도 중요한 사항을 먼저 언급하는 것이 좋습니다. 무엇을하려고합니까? 무엇이든 예측하십시오 . 어떻게 하시겠습니까? 이러한 변수 중 일부 또는 전부를 사용하십시오 .

나는 다른 어떤 단어보다 "온"에 대한 이야기가 없습니다. "회귀하다"또는 "회귀하다"는 소리가 들리지 않습니다. 여기에는 논리가 없으며 교과서, 가르침 및 토론에서 전달 된 밈 만 있습니다.

일반적으로 조심하십시오. "versus"의 의미 와 관련된 문제를 고려하십시오 . 나는 " (수직 축 변수) x (수평 축 변수 )에 대해 [수직 축 변수]를 플롯 "하고 역음은 나에게 특이하게 이상 하다고 말하게 되었습니다. 그럼에도 불구하고 상당한 경험과 전문 지식을 가진 사람들은 다른 방식으로 경험합니다. 때때로, 이런 종류의 차이는 당신이 발에 앉은 이래로 모방 한 카리스마적이고 특이한 교사들에게 기인 할 수 있습니다.$y$$x$

1) 회귀 라는 용어 는 일반적인 간단한 선형 회귀 모델에서 다음과 같은 사실에서 비롯됩니다.

$y = \alpha + \beta x + \epsilon$

$y$$x$$\hat{y}$$\bar{y}$$x$$\bar{x}$

$|\hat{y} - \bar{y}| / s_y < |x - \bar{x}| / s_x$

예를 들어 R에 내장 된 BOD 데이터 프레임을 사용하는 경우 :

fm <- lm(demand ~ Time, BOD)
with(BOD, all( abs(fitted(fm) - mean(demand)) / sd(demand) < abs(scale(Time))))
## [1] TRUE

증거는 https://en.wikipedia.org/wiki/Regression_toward_the_mean을 참조하십시오.

2) 용어 에은 피팅 값은 결과 변수의 돌출부는 사실에서 유래 상에 상기와 같은 다양한 소스에서 설명) 절편을 포함하는 예측 변수 (의해 걸치는 서브 스페이스 //people.eecs.ku : HTTP .edu / ~ jhuan / EECS940_S12 / slides / linearRegression.pdf .

노트

아래의 의견과 관련하여, 의견자가 말한 것은 답변이 올바르게 표시하는 것을 제외하고는 답변이 이미 공식 형식으로 표현 된 것입니다. 사실, 평등으로 인해 :

$(\hat{y} - \bar{y}) = \hat{\beta} (x - \bar{x})$

종속 변수가 평균값에 필연적으로 평균에 근접하지 않는 한, 예측 변수가 평균에 근접하지 않는 한 $| \beta | < 1$

$beta > 1$

개인적으로, 용어를 설명 할 때, 특히 학생들에게 설명 할 때 용어 자체의 정의가 항상 도움이된다는 것을 알았습니다. 단어 회귀의 실제 정의는 다음과 같습니다.

"이전 또는 덜 개발 된 상태로 돌아갑니다".

따라서 설명하는 한 가지 방법은 다음과 같습니다.

"결과를 완전히 개발 된 상태로 생각하면 덜 발달 된 상태, 즉 독립 변수를 사용하여 결과를 설명하려고합니다. 따라서 결과는 예측 변수에서 회귀됩니다."

희망이 도움이됩니다.