MAPE (Mean Absolute Percentage Error)의 단점은 무엇입니까?

평균 절대 에러 백분율 ( MAPE는 ), 시계열 예측 등 정밀도를위한 공통 또는 에러 척도

MAPE = \frac{100}{n} \sum_{t = 1}^{n} \frac{| A_{t} - F_{t} |}{A_{t}} %,

$\text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%,$

여기서 는 실제 값이고 해당 예측 또는 예측입니다. $A_t$ $F_t$

MAPE는 백분율이므로 계열간에 쉽게 비교할 수 있으며 사람들은 백분율을 쉽게 이해하고 해석 할 수 있습니다.

그러나 MAPE에는 단점이 있다고 들었습니다. MAPE를 사용할지 또는 MSE ( mse ), MAE ( mae ) 또는 MASE ( mase ) 와 같은 대안을 사용할 지에 대한 정보에 근거한 결정을 내릴 수 있도록 이러한 단점을 더 잘 이해하고 싶습니다 .

accuracy mape

— 콜라 사
소스

MAPE의 단점

MAPE는 백분율로 나누기와 비율이 의미가있는 값에만 적합합니다. 예를 들어 온도의 백분율을 계산하는 것은 의미가 없으므로 온도 예측의 정확도를 계산하기 위해 MAPE를 사용해서는 안됩니다.
단일 실제 값이 0 인 경우 $A_t=0$ 이면 정의되지 않은 MAPE를 계산할 때 0으로 나눕니다.

그럼에도 불구하고 일부 예측 소프트웨어는 단순히 실제 값이 0 인 기간을 삭제함으로써 그러한 시리즈에 대한 MAPE를보고하는 것으로 나타났습니다 ( Hoover, 2006 ). 이는 말할 필요도 없는 의 예측 -하지만 우리가 실제이 제로라면 우리가 예상 것에 대해 전혀 걱정하지 않는 것이 있듯이, 좋은 생각 $F_t=100$ 중 하나 $F_t=1000$ 매우있을 수 있습니다 다른 의미. 소프트웨어가 무엇을하는지 확인하십시오.

제로가 거의 발생하지 않으면 가중 MAPE ( Kolassa & Schütz, 2007 )를 사용할 수 있지만 자체 문제가 있습니다. 이것은 대칭 MAPE에도 적용됩니다 ( Goodwin & Lawton, 1999 ).
100 %보다 큰 MAPE가 발생할 수 있습니다. 일부 사람들이 100 % -MAPE로 정의하는 정확성으로 작업하기를 원한다면, 이는 부정확 한 정확도로 이어질 수 있으며, 이는 사람들이 이해하기 어려울 수 있습니다. ( 아니요, 0에서 절단 정확도 는 좋은 생각 이 아닙니다 . )
우리가 예측하고자하는 긍정적 인 데이터가 있다면 (그리고 위의 경우, MAPE는 다른 의미가 없습니다), 우리는 절대로 0 이하로 예측하지 않을 것입니다. MAPE는 불행히도 초과 예측을 미달 예측과 다르게 처리합니다. 미 예측은 100 %를 초과하여 기여하지 않지만 (예를 들어, $F_t=0$ 및 $A_t=1$ ) 초과 예측의 기여는 제한되지 않습니다 (예 : $F_t=5$ 및 $A_t=1$ ). 이는 MAPE가 편향 예측보다 편향이 낮을 수 있음을 의미합니다. 이를 최소화하면 예측이 낮은 편향으로 이어질 수 있습니다.

특히 마지막 글 머리 기호는 조금 더 생각할 가치가 있습니다. 이를 위해 한 걸음 물러서야합니다.

우선, 미래의 결과를 완벽하게 알지 못하며, 앞으로도 그렇지 않을 것입니다. 따라서 미래의 결과는 확률 분포를 따릅니다. 소위 포인트 예측 $F_t$ 는 단일 숫자를 사용하여 시간 에서 미래 분포 (즉, 예측 분포 )에 대해 알고있는 것을 요약하려는 시도 입니다. 그런 다음 MAPE는 시간에 미래 분포에 대한 단일 숫자 요약의 전체 시퀀스에 대한 품질 측정 값입니다 . $t$ $t=1, \dots, n$

여기서 문제는 사람들 이 미래 분포 의 좋은 1- 수 요약이 무엇인지 명시 적으로 말하지 않는다는 것입니다.

$F_t$ $F_t$

문제는 다음과 같습니다. MAPE를 최소화하면 일반적으로 이러한 기대치를 산출하는 데 도움이 되지 않지만 상당히 다른 1- 수 요약 ( McKenzie, 2011 , Kolassa, 2020 )이 있습니다. 이것은 두 가지 다른 이유로 발생합니다.

$(\mu=1,\sigma^2=1)$

수평선은 최적의 포인트 예측을 제공하며, 여기서 "최적화"는 다양한 오차 측정에 대한 예상 오차를 최소화하는 것으로 정의됩니다.
- $F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
- $F_t=\exp\mu\approx 2.7$
- $F_t=\exp(\mu-\sigma^2)=1.0$ $\beta=-1$
우리는 미래 분포의 비대칭 성과 MAPE가 과잉 및 미달 된 예측을 차별한다는 사실과 함께 MAPE를 최소화하면 예측 이 크게 편향 될 것임을 암시 합니다. ( 감마 사례에서 최적의 포인트 예측 계산은 다음과 같습니다. )
$A_t$ $t$

이 경우 :
- $F_t=3.5$
- $3\leq F_t\leq 4$
- $F_t=2$
우리는 MAPE를 최소화하는 것이 과대 및 저 예측에 적용되는 차등 페널티로 인해 편견 예측으로 이어질 수있는 방법을 다시 한 번 봅니다. 이 경우 문제는 비대칭 분포가 아니라 데이터 생성 프로세스의 높은 변동 계수에서 비롯됩니다.

이것은 실제로 MAPE의 단점에 대해 사람들에게 가르치는 데 사용할 수있는 간단한 그림입니다. 참석자들에게 주사위를 몇 개주고 굴려주십시오. 자세한 내용은 Kolassa & Martin (2011) 을 참조하십시오.

R 코드

로그 정상 예 :

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

주사위 굴림 예제 :

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

참고 문헌

Gneiting, T. 포인트 예측 및 평가 . 미국 통계 협회 저널 , 2011, 106, 746-762

Goodwin, P. & Lawton, R. 대칭 MAPE의 비대칭 성 . International Journal of Forecasting , 1999, 15, 405-408

Hoover, J. 예측 정확도 측정 : 오늘날의 예측 엔진 및 수요 계획 소프트웨어의 누락 . 예측 : International Applied Forecasting , 2006, 4, 32-35

Kolassa, S. "최고"포인트 예측이 오류 또는 정확도 측정 (M4 예측 경쟁에 대한 논평)에 의존하는 이유. International Journal of Forecasting , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. 백분율 오류는 하루를 망칠 수 있습니다 (그리고 주사위 굴리는 방법을 보여줍니다) . 예측 : International Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. MAPE 대비 MAD / 평균 비율의 장점 . 예측 : International Applied Forecasting , 2007, 6, 40-43

McKenzie, J. 경제 예측의 평균 절대 백분율 오차 및 편향 . 경제 서한 , 2011, 113, 259-262

— 콜라 사
소스

우수한 Q & A. 이 모든 지표에는 두 가지 큰 기본 가정이 있습니다. 시리즈는 iid 와 고정입니다. 실제로 자주 발생하는 이러한 가정 중 하나 또는 둘 모두가 충족되지 않으면 그 유효성에 의문이 생깁니다.

— Mike Hunter

그러나이 중 대부분에 동의하지만 온도가 적절한 척도 (켈빈 척도)에있는 한 온도 비율을 처리하는 것이 합법적이지 않습니까?

— 복원 상태 Monica

@Ben :이 경우 0으로 나누지 않습니다. 그러나 비대칭은 여전히 약간의 문제입니다. 예측이 293K이고 실제가 288K 인 경우 APE가 1.74 %이고 실제가 293K 인 동안 예측이 288K 인 경우 APE는 1.71 %이므로 두 번째 예측이 더 좋아 보입니다. . (필요에 따라 C 또는 F로 변환하십시오.) 본질적으로 동일한 실제 오차는 실제보다 낮을수록 더 강하게 처벌됩니다. 또한 온도에 대한 백분율 오차의 해석은 쉽지 않습니다.

— S. Kolassa-복원 Monica Monica

@Ben 절대 온도의 백분율은 합법적이지만 온도의 차이는 이해하기 쉽습니다. 최소한 일상적인 온도에서 온도를 다룰 때; 별 코어 온도를 예측할 때는 다른 방법 일 수 있습니다.

— Pere

MAPE (Mean Absolute Percentage Error)의 단점은 무엇입니까?

MAPE의 단점

관련 교차 검증 된 질문

R 코드

참고 문헌