잔차가 "예측 마이너스 실제"또는 "실제 마이너스 예측"입니까?

"잔여 물"은 "예측 마이너스 실제 값"또는 "실제 마이너스 예측 값"으로 다양하게 정의 된 것을 보았습니다. 설명을 위해 두 수식이 널리 사용됨을 나타내려면 다음 웹 검색을 비교하십시오.

• 잔차 "예측 마이너스 실제"
• 잔류 "실제 마이너스 예측"

실제로, 개별 잔차의 부호는 일반적으로 중요하지 않기 때문에 (예를 들어, 제곱되거나 절대 값이 취해지는 경우) 거의 차이가 없습니다. 그러나 내 질문은 : 이 두 버전 중 하나 (예측 우선 대 실제 첫 번째)가 "표준"으로 간주됩니까? 나는 일관되게 사용하고 싶기 때문에 잘 확립 된 기존 표준이 있다면 그것을 따르는 것을 선호합니다. 그러나 표준이 없으면 표준 규칙이 없다는 것이 확실하게 입증 될 수 있다면 그 대답으로 받아들이게되어 기쁩니다.

잔차는 항상 실제 마이너스 예측입니다. 모델은 다음과 같습니다. 따라서 잔차 은 오류 추정치입니다 :

나는 @ whuber에 서명이 수학적으로 중요하지 않다는 것에 동의합니다. 그래도 컨벤션을 갖는 것이 좋습니다. 그리고 현재의 관습은 내 대답과 같습니다.

OP 가이 주제에 대한 나의 권위에 도전했기 때문에 다음과 같은 참고 문헌을 추가하고 있습니다.

• " (2008) Residual. In : 간결한 통계 백과 사전. 뉴욕, Springer, 동일한 정의를 제공합니다.
• Fisher의 "연구원을위한 통계적 방법"1925도 같은 정의를 가지고 있습니다 . 이 1934 버전의 26 절을 참조하십시오 . 확실한 제목에도 불구하고, 이것은 역사적 맥락에서 중요한 작업입니다.

방금 하나의 대답 이 올바른 것 인 매력적인 이유 를 발견 했습니다 .

회귀 (및 모든 종류의 통계 모델)는 반응의 조건부 분포가 설명 변수에 어떻게 의존하는지에 관한 것입니다. 이러한 분포의 특성을 결정하는 중요한 요소는 일반적으로 "비대칭 (skewness)"이라고하는 척도입니다 (다양하고 다른 공식이 제공 되었음에도 불구하고). 분포 형태가 대칭에서 벗어나는 가장 기본적인 방법을 나타냅니다. 다음은 양의 비뚤어진 조건부 응답 이있는 이변 량 데이터 (응답 및 단일 설명 변수 )의 예입니다.$y$$x$

파란색 곡선은 일반적인 최소 제곱 적합입니다. 적합 값을 플로팅합니다.

응답 와 적합치 의 차이를 계산할 때 조건부 분포의 위치는 이동 하지만 모양은 변경하지 않습니다. 특히, 왜도는 변경되지 않습니다.$y$$\hat y$

이것은 이동 된 조건부 분포가 예측 된 값과 어떻게 다른지 보여주는 표준 진단 플롯입니다. 기하학적으로, 그것은 이전의 산점도를 "완료"할 때와 거의 동일합니다.

대신 다른 순서 인 의 차이를 계산 하면 조건부 분포의 모양 이 바뀌고 반전 됩니다. 왜도는 원래 조건부 분포의 음수입니다.$\hat y - y,$

이것은 이전 그림과 동일한 수량을 보여 주지만 잔차는 적합치에서 데이터를 빼서 계산했습니다. 물론 이전 잔차를 무시하는 것과 같습니다.

앞의 두 그림이 모든면에서 수학적으로 동일하지만 하나는 단순히 푸른 수평선을 가로 질러 점을 뒤집어 다른 것으로 변환하지만 그 중 하나는 원래 그림과 훨씬 더 직접적인 시각적 관계를 갖습니다.

결과적으로 우리의 목표는 잔차의 분포 특성을 원래 데이터의 특성과 연관시키는 것이며 (거의 항상 그렇습니다) 응답을 이동 및 반전시키는 대신 단순히 이동하는 것이 좋습니다.

정답은 분명합니다. 잔차를 로 계산하십시오$y - \hat y.$

Green & Tashman (2008, Foresight )은 예측 오류에 대한 유사한 질문에 대한 작은 설문 조사에 대해보고합니다. 나는 그들에 의해보고 된 바와 같이 어느 하나의 협약에 대한 논쟁을 요약 할 것이다 :

"실제 예측 된"인수

1. 통계 규칙은 입니다.$y=\hat{y}+\epsilon$

2. 지진학의 적어도 한 응답자는 이것이 또한 지진파 이동 시간을 모델링하기위한 관습이라고 썼다. "모델에 의해 예측 된 시간 이전에 실제 지진파가 도착하면 음의 이동 시간 잔차 (오류)가 있습니다." ( sic )

3. 를 예산, 계획 또는 목표로 해석하는 경우이 규칙이 적합합니다 . 여기에서 양수 오류는 예산 / 계획 / 목표가 초과되었음을 의미합니다.$\hat{y}$

4. 이 규칙은 지수 평활을 위한 공식을 보다 직관적으로 만듭니다. 부호를 사용할 수 있습니다 . 다른 규칙에서는 기호 를 사용해야합니다 .$+$$-$

"예측 된 실제"에 대한 인수

1. 경우 하고 긍정적 인 오류는 예측이 너무 높은 것을 나타냅니다. 이것은 대화보다 직관적입니다.$y=\hat{y}-\epsilon$

   이와 관련하여 양의 편향이 양의 예상 오차 로 정의 되는 경우이 규칙을 사용하면 예측이 평균적으로 너무 높다는 것을 의미합니다.

   그리고 이것은이 협약에 주어진 유일한 주장입니다. 다시 말하지만, 다른 관습으로 이어질 수있는 오해 (긍정적 오류 = 예측치가 너무 낮음)를 감안할 때 그것은 강력한 것입니다.

결국, 나는 그것이 당신의 잔재를 전달할 사람에게 달려 있다고 주장합니다. 그리고이 논의에는 분명히 두 가지 측면이 있다는 것을 감안할 때, 어떤 규칙을 따를 것인지 명시 적으로 언급하는 것이 좋습니다.

다른 용어는 다른 규칙을 제안합니다. "잔여"라는 용어는 모든 설명 변수가 고려 된 후에 남은 것, 즉 실제 예측 된 것을 의미한다. "예측 오류"는 예측이 실제, 즉 예측-실제와 얼마나 차이가 있는지를 나타냅니다.

모델링의 개념은 또한 어떤 컨벤션이 더 자연스러운 지에 영향을줍니다. 하나 이상의 기능 열 , 응답 열 및 예측 열 가있는 데이터 프레임이 있다고 가정합니다 .$X = x_1,x_2...$$y$$\hat y$

한 가지 개념은 가 "실제"값이고 는 단순히 변형 된 버전입니다 . 이 개념에서 와 는 모두 임의 변수입니다 ( 는 파생 변수 임). 하지만 우리가 실제로 관심있는 하나입니다, 우리가 관찰 할 수있는 하나입니다 위한 프록시로 사용되는 . "오류"는 이 "true"값 에서 가 얼마나 많이 벗어나 는지 입니다. 이는이 편차의 방향에 따라 오류를 정의하는 것을 제안합니다 (예 : .$y$$\hat y$$X$$y$$\hat y$$\hat y$$y$$\hat y$$\hat y$$y$$\hat y$$y$$e = \hat y -y$

그러나 를 "실제"값으로 생각하는 또 다른 개념이 있습니다. 즉, y는 결정 론적 과정을 통해 의존 한다. 의 특정 상태 는 특정 결정 론적 가치를 발생시킵니다. 이 값은 임의의 프로세스에 의해 혼란스러워집니다. 따라서 우리는 입니다. 이 개념에서 는 의 "실제"값입니다. 예를 들어 중력으로 인한 가속도 인 g의 값을 계산하려고한다고 가정합니다. 많은 물체를 떨어 뜨려 떨어 뜨린 거리 ( )와 떨어질 때까지 걸린 시간 ( )을 측정합니다. 그런 다음 y = 모델로 데이터를 분석하십시오.$\hat y$$X$$X$$x \rightarrow f(X)\rightarrow f(X)+error()$$\hat y$$X$$y$$\sqrt{\frac{2x}{g}}$. 이 방정식이 정확하게 작동하는 g 값이 없다는 것을 알았습니다. 그런 다음 이것을 다음과 같이 모델링하십시오.

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$ .

즉, 변수 y를을하고 "진짜"가치가있을 생각이다 실제 물리 법칙에 의해 생성되고, 다음 몇 가지 다른 값 입니다 의 어떤 독립적 인 수정 , 등 측정 오류 또는 바람 돌풍 또는 기타.$\hat y$$y$$\hat y$$X$

이 개념에서, 당신은 y = 를 현실이 "해야 할"행동으로 취하고 있으며, 당신이 그것에 동의하지 않는 답변을 얻는다면, 현실은 잘못된 답변. 물론 이것은 이런 식으로 말하면 다소 어리 석고 거만 해 보일 수 있지만,이 개념을 진행하는 데에는 충분한 이유가 있으며, 이런 식으로 생각하는 것이 유용 할 수 있습니다. 그리고 궁극적으로 모델 일뿐입니다. 통계 학자들은 이것이 실제로 세상이 어떻게 작동하는지 반드시 생각하지는 않습니다 (아마도 누군가가있을 수도 있지만). 그리고 방정식 주어지면, 실제로는 마이너스가 예측됩니다.$\sqrt{\frac{2x}{g}}$$y = \hat y +error$

또한 두 번째 개념의 "실제로 잘못 이해"측면이 마음에 들지 않으면 "y가 의존하는 일부 프로세스 f를 식별 했지만 우리는 얻지 못하고 있습니다. "정답이 맞습니다. y에도 영향을주는 다른 프로세스가 있어야합니다." 이 변형에서$X$

$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$ 입니다.

@Aksakal의 답변은 완전히 정확하지만 내가 찾은 요소 하나를 추가하면됩니다 (그리고 내 학생들).

모토 : 통계는 "완벽하다". 에서와 같이, 나는 항상 완벽한 예측을 제공 할 수 있습니다 (나는 눈썹이 지금 당장 일어나고 있음을 알고 있습니다.

관찰 된 값 를 예측 . 어떤 형태의 모델을 사용하여 각 관측 값에 대해 예측 된 값을 생성하고이를 합니다. 유일한 문제는 일반적으로 (항상) 그래서 우리는 평등을 유지하기 위해 새로운 변수 추가 할 것입니다 ...하지만 더 나은 옵션은 그것을 추가하는 것 같습니다 실제 값에 더하거나 뺄 수없는 "예측 된"( "만들기") 값 (실제 값에서 더하거나 빼는 것은 물리적으로 불가능할 수 있으므로 ... 아래 주석 참조) : 이제 "완벽한"예측이 있습니다. "최종"값은 관찰 된 값과 일치합니다.$y_i$$\hat{y}_i$

분명히, 이것은 무슨 일이 일어나고 있는지에 대한 통계 이론의 엄청난 양에 대해 광택이 있지만 ... 관찰 된 값은 두 개의 개별 부분 (체계적 부분과 임의 부분)의 합이라는 생각을 강조합니다. 이 형식으로 기억하면 항상 잔차 가 관측 값에서 예측값을 뺀 값이됩니다.$\epsilon_i$

$\newcommand{\e}{\varepsilon}$ 최소 제곱 선형 회귀의 경우를 사용하겠습니다. 모델을 로 설정하면 @Aksakal이 지적했듯이 자연스럽게 끝나 므로 입니다. 대신 를 모델로 사용하면 됩니다. 이 시점에서 보다 대한 모호한 선호를 제외하고는 다른 것을 선호 할 이유가 없습니다 .$Y = X\beta + \e$$\e = Y - X\beta$$\hat \e = Y - \hat Y$$Y = X\beta - \e$$\e = X\beta - Y \implies \hat \e = \hat Y - Y$$1$$-1$

그러나 이면 를 통해 잔차를 얻습니다 . 여기서 는 디자인 행렬 의 열 공간과 직교하는 공간으로 투영되는 행렬 입니다. 를 대신 사용하면 끝납니다 . 그러나 자체는 . 따라서 실제로 는 투영 행렬의 음수, 즉 입니다. 그래서 나는 이것을 사용하여 도입 된 부정적인 것을 취소하는 것으로 간주 하므로 parsimony를 위해 그냥 사용하는 것이 좋습니다$\hat \e = Y - \hat Y$$(I - P_X)Y$$I - P_X$$X$$Y = X\beta - \e$$\hat \e = (P_X - I)Y$$P_X - I$P X - I I - P X Y = X β - ε Y = X β + ε Y - $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$$P_X - I$$I - P_X$$Y = X\beta - \e$$Y = X\beta + \e$ 이는 잔차로 를 제공합니다.$Y - \hat Y$

다른 곳에서 언급 한 바와 같이 우리가 사용하는 경우 아무것도 휴식 같은 아니라 ,하지만 난 그냥 사용하는 것이 충분한 이유가 생각이 이중 부정적인 상황으로 끝낼 .Y -$\hat Y - Y$$Y - \hat Y$