RMSE와 MAE가 같은 가치를 가질 수 있습니까?

교차 유효성 검사를 구현하고 RMSE, , MAE, MSE 등과 같은 오류 메트릭을 계산 하고 있습니다. $R^2$

cross-validation rms mae

— 펄
소스

예. 왜 안돼? 하자 항상 과에 대한 예측 항상 . 거기 있습니다

X

$X$

0

$0$

X

$X$

1

$1$

— David

예, 이론 상으로는 내가 예상 할 수있는 가장 간단한 경우는 모든 예측 오류 (예 : 잔차)가 정확히 1 인 데이터 집합입니다 . RMSE와 MAE는 동일한 값 1을 반환합니다. 다른 시나리오도 구성 할 수 있지만 그럴 가능성은 거의 없습니다. $\pm$

편집 : 모든 예측 오류의 절대 값이 동일한 경우에만이 결과가 가능하다는 점을 지적한 @DilipSarwate에게 감사드립니다 (@ user20160에 의해 더 정교하게 답변되었습니다). 내 예제에서 1 값에 대해서는 특별한 것이 없습니다 . 다른 숫자는 1 대신 작동합니다. $\pm$

— mkt-복원 모니카
소스

상상 한 다른 시나리오의 예를 들어 주시겠습니까? 위의 예제의 스칼라 배수 이외의 예 (모든 잔차가 대신 인 경우)를 의미합니다.

\pm σ

$\pm \sigma$

\pm 1

$\pm 1$

— Dilip Sarwate

@DilipSarwate user20160이 내가 할 수있는 것보다 더 자세하게 다루는 훨씬 좋은 답변을 추가했을 때 이것을 숙고했습니다.

— mkt-Reinstate Monica

@mkt 친절한 말에 감사드립니다. 당신의 대답은 정확하고 간결합니다 (+1)

— user20160

@DilipSarwate 입력 해 주셔서 감사합니다

— mkt-Reinstate Monica

당신의 대답에 추가 장식물의 몇 : (i)는 해야합니다 도 (예를 들어 ) 및 (ii) 정확히 값이 있어야합니다 잔차 정확히 잔차 값이 있어야합니다 물론 수단 중 어느 모든 잔차는 상태에 따라 절대 값 를 갖지만 (ii) 잔차의 합이 이어야합니다. 잔차는 평균과의 편차이므로 0의 합이어야합니다.

n

$n$

n = 2 k

$n=2k$

k

$k$

+ σ

$+\sigma$

k

$k$

- σ

$-\sigma$

σ

$\sigma$

0

$0$

— Dilip Sarwate

MAE (평균 절대 오류)는 특정 조건에서 MSE (평균 제곱 오류) 또는 RMSE (루트 평균 제곱 오류)와 같을 수 있습니다. 아래에 표시하겠습니다. 이러한 조건은 실제로 발생하지 않을 것입니다.

예비

하자는 번째 데이터 포인트 에 대한 잔차의 절대 값을 나타내고, 는 데이터 세트의 모든 포인트에 대한 절대 잔차를 포함하는 벡터가되도록한다 . 분들께 나타내는 사람의 벡터는 MAE, MSE 및 RMSE는 다음과 같이 쓸 수있다 : $r_i = |y_i - \hat{y}_i|$ $i$ $r = [r_i, \dots, r_n]^T$ $n$ $\vec{1}$ $n \times 1$

\begin{matrix} (1) & 미디엄 ㅏ 이자형 = \frac{1}{엔} {\vec{1}}^{티} 아르 자형 미디엄 에스 이자형 = \frac{1}{엔} {아르 자형}^{티} 아르 자형 아르 자형 미디엄 에스 이자형 = \sqrt{\frac{1}{엔} {아르 자형}^{티} 아르 자형} \end{matrix}

$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$

MSE

MSE를 MAE와 동일하게 설정하고 재정렬하면 다음과 같은 이점이 있습니다.

\begin{matrix} (2) & (아르 자형 - \vec{1})^{티} 아르 자형 = 0 \end{matrix}

$(r - \vec{1})^T r = 0 \tag{2}$

MSE와 MAE는 절대 잔차가 위의 방정식을 해결하는 모든 데이터 세트에 대해 동일합니다. 두 가지 확실한 해결책은 (제로 오류가 있음) 및 (잔류량은 언급 된 바와 같이 ). 그러나 수많은 솔루션이 있습니다. $r = \vec{0}$ $r = \vec{1}$ $\pm 1$

우리는 방정식을 해석 할 수 있습니다 $(2)$ LHS는 다음의 내적입니다. $r-\vec{1}$ 과 $r$ . 제로 도트 제품은 직교성을 의미합니다. 따라서 각 절대 잔차에서 1을 빼면 원래 절대 잔차에 직교하는 벡터가 제공되면 MSE와 MAE는 같습니다.

또한, 사각형을 완성함으로써 $(2)$ 다음과 같이 다시 작성할 수 있습니다.

\begin{matrix} (삼) & (아르 자형 - \frac{1}{2} \vec{1})^{티} (아르 자형 - \frac{1}{2} \vec{1}) = \frac{엔}{4} \end{matrix}

$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$

이 방정식은 $n$ 중심 구를 중심으로 $[\frac{1}{2}, \dots, \frac{1}{2}]^T$ 반경으로 $\frac{1}{2} \sqrt{n}$ . MSE와 MAE는 절대 잔차가이 초구의 표면에있는 경우에만 동일합니다.

RMSE

RMSE를 MAE와 동일하게 설정하고 재 배열하면 다음과 같은 이점이 있습니다.

\begin{matrix} (4) & {아르 자형}^{티} ㅏ 아르 자형 = 0 \end{matrix}

$r^T A r = 0 \tag{4}$

ㅏ = (엔 나는 - \vec{1} {\vec{1}}^{티})

$A = (n I - \vec{1} \vec{1}^T)$

어디 $I$ 항등 행렬입니다. 용액 세트는 인 널 공간 의 $A$ ; 즉, 모두의 집합 $r$ 그런 $A r = \vec{0}$ . 널 공간을 찾으려면 $A$ 이다 $n \times n$ 대각선 요소가 같은 행렬 $n-1$ 다른 모든 요소는 $-1$ . 진술 $A r = \vec{0}$ 방정식 시스템에 해당합니다.

\begin{matrix} (5) & (엔 - 1) {아르 자형}_{나는} - \sum_{제이 \neq 나는} {아르 자형}_{제이} = 0 \forall 나는 \end{matrix}

$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$

또는, 정리하기 :

\begin{matrix} (6) & {아르 자형}_{나는} = \frac{1}{엔 - 1} \sum_{제이 \neq 나는} {아르 자형}_{제이} \forall 나는 \end{matrix}

$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$

즉, 모든 요소 $r_i$ 다른 요소의 평균과 같아야합니다. 이 요구 사항을 충족시키는 유일한 방법은 모든 요소가 동일해야합니다 (이 결과는 고유 분해를 고려하여 얻을 수도 있음). $A$ ). 따라서 솔루션 세트는 동일한 항목을 가진 모든 음이 아닌 벡터로 구성됩니다.

{아르 자형 ∣ 아르 자형 = 씨 \vec{1} \forall 씨 \geq 0}

$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$

따라서 잔차의 절대 값이 모든 데이터 포인트에 대해 동일한 경우에만 RMSE와 MAE가 같습니다.

— 사용자 20160
소스

+1. 이 초권의 대부분이 모든 구성 요소가

r

$r$ 음이 아닌, 절대 잔차의 요구 사항입니다. 정말 많은 (사소한) 솔루션이 있다고 확신했습니다.

— whuber

실제로, 문제는 RMSE 와 MAE가 동일 할 수 있는지 여부와 MSE와 MAE가 동일 할 수 있는지 여부였습니다. 아마도 @mkt의 대답 (또는 주석에서 제안한 일반 버전)은 RMSE = MAE 질문에 대한 유일한 대답입니까?

— Dilip Sarwate

@DilipSarwate, 예. 'R'부분을 건너 뛰었다는 것을 게시 한 후 깨달았습니다. RMSE를 포함하도록 편집했습니다. 나는 당신이 제안한 버전 이이 경우 유일한 대답이라고 생각합니다.

— user20160

@ whuber 좋은 지적입니다. 이런 식으로 편집하려고합니다.

— user20160

@Hiyam 1 개의 값만있는 경우 정의에 따라 RMSE는 MAE와 같아야합니다. 오류는 1 개뿐이므로 오류를 제곱하고 근을 취하면 원래 오류의 절대 값 만 반환됩니다.

— mkt-