평균 제곱 오차 및 잔차 제곱합

31

Wikipedia 정의를 살펴보면 :

평균 제곱 오차 (MSE)
잔차 제곱합 (RSS)

그것은 나에게 보인다

MSE = \frac{1}{N} RSS = \frac{1}{N} \sum (f_{i} - y_{i})^{2}

$\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2$

여기서 은 샘플 수이고 는 의 추정치입니다 . $N$ $f_i$ $y_i$

그러나 위키피디아 기사 중 어느 것도이 관계를 언급하지 않습니다. 왜? 뭔가 빠졌습니까?

residuals mse

— 조롱
소스

6

나는 이것이 도움이되지 않고 적대적인 것처럼 보이지만 분명하기 때문에 언급하지는 않습니다. 또한 여기에 약간의주의가 필요합니다. 일반적으로 실제 경험적 작업에서 MSE가 발생하면 는 으로 나눈 것이 아니라 는 로 나눈 것입니다. 여기서 는 일부 회귀 모형에서 오른쪽 변수의 수 (절편 포함)입니다.

R S S

$RSS$

N

$N$

R S S

$RSS$

N - K

$N-K$

K

$K$

— Bill

10

@Bill : 글쎄, 그것은 일반적으로 Wikipedia에 링크 된 기사로 연결되는 일종의 관계입니다. 자유의 정도에 관한 당신의 요점은 또한 분명하고 분명하게 언급 할 가치가없는 것을 보여줍니다.

— bluenote10

2

@Bill : 동의하지만 명확성은 매우 주관적입니다. 통계 / 기계 학습 회색 영역은 표기법으로 가득 차 있으므로 명시 적 인 것이 좋습니다.

— rnoodle

30

실제로 Wikipedia 의 평균 제곱 오류 의 회귀 섹션에 언급되어 있습니다 .

회귀 분석에서 평균 제곱 오차라는 용어는 때때로 오차 분산의 편견없는 추정 : 잔차 제곱을 자유도 수로 나눈 값을 나타내는 데 사용됩니다.

여기에서 몇 가지 정보를 찾을 수 있습니다. 통계의 오차 및 잔차 식 평균 제곱 오차는 경우에 따라 다른 의미를 가질 수 있으며 때로는 까다 롭습니다.

— whenov
소스

4

그러나 SSE (Sum of Squared Erros)와 RSS (Residue Sum of Squares)는 때때로 교환으로 사용되므로 독자들을 혼란스럽게합니다. 예를 들어 선형 회귀에 대한 자세한 내용은 이 URL ( https://365datascience.com/sum-squares/) 을 확인하십시오 .

통계적 관점에서 볼 때, 오류와 잔차는 완전히 다른 개념입니다. 오차는 주로 실제 관측 된 표본 값과 예측 된 값의 차이를 나타내며, 주로 RMSE (root Means Squared Errors) 및 MAE (Mean Absollute Errors)와 같은 통계 지표에 사용됩니다. 반대로, 잔차는 종속 변수와 선형 회귀 분석의 차이를 독점적으로 나타냅니다.

— Dr.CYY
소스

0

우리가 MSE를 RMSE의 sqaure로 생각한다면 이것이 이것이 옳지 않다고 생각합니다. 예를 들어, 예측 및 관측에 대한 일련의 샘플링 된 데이터가 있으며 이제 관측치 (O) = a + b X 예측 (P)과 같은 선형 회귀를 시도합니다. 이 경우 MSE는 O와 P의 차를 제곱하여 샘플 크기 N으로 나눈 값의 합입니다.

그러나 선형 회귀의 수행 방식을 측정하려면 MSR (Mean Squared Residue)을 계산해야합니다. 같은 경우, 선형 회귀에서 도출 된 예측 된 관측치와 실제 관측치 간의 차의 제곱합에 해당하는 RSS (잔차 제곱합)를 먼저 계산 한 다음 RSS를 N-2 로 나눈 값을 따릅니다. MSR을 받으십시오.

간단히 말해, 예에서 RSS 구성 요소는 더 이상 MSE를 계산하는 데 사용되는 구성 요소와 동일하지 않으므로 RSS / N을 사용하여 MSE를 추정 할 수 없습니다.

— Dr.CYY
소스

1

이 답변을 이해하지 못합니다.

— Michael R. Chernick

앞에서 언급 한 샘플링 된 예측 및 관측 된 데이터 값의 예에 따라 선형 회귀가 설정됩니다. 관찰 (O) = a + b X 예측 (P) (a, b는 각각 가로 채기 및 기울기) 이 경우 MSE = Σ (OP) ^ 2 / n입니다. 여기서 Σ (OP) ^ 2는 SSE (Sum of Squared Erros)이고 n은 표본 크기입니다. 그러나 평균 제곱 잔차 (MSR) = Σ (OO´) ^ 2 / n-2. 여기서 Σ (OO´) ^ 2는 잔차 제곱 (RSS)과 같고 O` = a + b X P. MSR 및 RSS는 주로 선형 회귀의 전반적인 중요성을 테스트하는 데 사용됩니다. 또한 SSE = SE (Systematic Erros) + RSS, 여기서 SE = Σ (

— PO´