평균 절대 스케일 오차 (MASE)의 해석

MASE (Mean Absolute Scaled Error)는 Koehler & Hyndman (2006)이 제안한 예측 정확도의 척도입니다 .

M A S E = \frac{M A E}{M A E_{i n - s a m p l e, n a i v e}}

$MASE=\frac{MAE}{MAE_{in-sample, \, naive}}$

여기서 는 실제 예측에 의해 생성 된 평균 절대 오차입니다. 반면 (AN 예 : 변화 없음 예보 집적 순 예측에 의해 생성 된 평균 절대 에러 인 의 시간 시리즈)에서의 샘플 데이터를 계산 하였다. $MAE$
$MAE_{in-sample, \, naive}$ $I(1)$

( 정확한 정의와 공식 은 Koehler & Hyndman (2006) 문서를 확인하십시오 .)

$MASE>1$ 은 실제 절대 예측이 평균 절대 오차의 관점에서 샘플에서 순진한 예측보다 샘플에서 더 나쁘다 는 것을 의미합니다. 따라서 평균 절대 오차가 (현재 문제에 따라) 예측 정확도의 관련 척도라면 은 표본 외부 데이터가 샘플이 아닌 데이터 가 아니라 샘플에서 순진한 예측이 얼마나 잘 수행되는지 알기 때문에 샘플 내 데이터와 매우 유사합니다 . $MASE>1$

의문:

$MASE=1.38$ 은이 Hyndsight 블로그 게시물 에서 제안 된 예측 경쟁에서 벤치 마크로 사용되었습니다 . 명백한 벤치 마크가 이 아니어야합니까 ? $MASE=1$

물론이 질문은 특정 예측 경쟁에만 국한된 것은 아닙니다. 좀 더 일반적인 맥락에서 이것을 이해하는 데 도움이 필요합니다.

내 추측:

내가 보는 유일한 합리적인 설명은 순진한 예측이 예를 들어 구조적 변화로 인해 샘플에서보다 샘플에서 상당히 나빠질 것으로 예상된다는 것입니다. 그렇다면 은 달성하기에는 너무 어려웠을 것입니다. $MASE<1$

참고 문헌 :

Hyndman, Rob J. 및 Anne B. Koehler. " 예측 정확도의 측정 방법을 한 번 더보십시오. " 국제 일기 예보 22.4 (2006) : 679-688.
Hyndsight 블로그 게시물 .

— 리차드 하디
소스

Rob은 자신의 블로그 게시물에서이 벤치 마크의 출처를 다음과 같이 지적합니다. "이 임계 값은 Athanasopoulos et al (2010)에 설명 된 이러한 데이터를 분석 할 때 가장 성능이 좋은 방법입니다." Athanosopoulos 논문을 보셨습니까?

— S. Kolassa-복원 모니카

나는 "당신의 추측"에 약간 당황합니다. 구조적 변화는 복잡한 예측이 실제로 과거의 데이터와 부분적으로 관련이 없다는 것을 의미합니다. 그러나 구조적 중단이 "변화 없음"예측에 미치는 영향은 중단에 달려 있습니다. 예를 들어 우리는 드리프트와 랜덤 워크 (random walk) 및 드리프트, 일정 기간, 그냥있어 그 구조 휴식 수단에서 찾고 있다면 낮은이 , 다음 "변화 없음"예측이 더 나은 수행 한 후 그 이전보다, 휴식.

— Alecos Papadopoulos

@AlecosPapadopoulos : 당신이 맞아요. 그러나 필자는 샘플 외부 데이터가 필요에 따라 샘플 내부 데이터와는 상당히 다르지만 을 기대하기에 충분한 조건은 아니라는 것을 의미했습니다 . 아마도 나는 자신을 올바르게 표현하지 않았을 것입니다.

M A S E >> 1

$MASE>>1$

— Richard Hardy

@ StephanKolassa : 나는 종이를 훑어 보았고 좋은 설명을 찾지 못했습니다. 아마도 더 자세히 읽어야 할 것입니다. 그러나 내 질문은 그보다 더 일반적인 것입니다. 나는 그 예에 특별히 관심이 없으며, 단지 예를 들어 제시했다. 에 대한 직관을 찾고 있습니다.

M A S E

$MASE$

— Richard Hardy

관련 정보 : stats.stackexchange.com/questions/124955/…

— S. Kolassa-Monica Monica

답변:

에서 링크 된 블로그 게시물 , 롭 Hyndman는 관광 예측 경쟁 항목을 호출합니다. 기본적으로 블로그 게시물은 관련에 관심을 끌기 위해 역할을 IJF 기사 AN, ungated 버전있는 블로그 게시물에 연결되어 있습니다.

월간 1.38, 분기 별 1.43, 연간 데이터 2.28과 같은 벤치 마크는 다음과 같이 나타났습니다. 저자는 모두 전문가 예측 자이며 IIF에 매우 적극적이며 뱀 오일 판매원은 없습니다. 표준 예측 알고리즘이나 예측 소프트웨어를 적용 할 수 있으며 ARIMA 제출에 관심이 없을 것입니다. 그래서 그들은 몇 가지 표준 방법을 데이터에 적용했습니다. IJF 에서 논문 제출을 위해 당첨 된 제출물을 초청하기 위해 , 그들은 MASE에 의해 측정 된 최상의 표준 방법을 개선하도록 요청합니다.

따라서 귀하의 질문은 본질적으로 다음과 같이 요약됩니다.

MASE가 1 인 경우 샘플에서 순진한 랜덤 워크 예측만큼 MAMA에 의한 샘플이 아닌 예측에 해당한다고 가정하면 ARIMA와 같은 표준 예측 방법이 월간 데이터에 대해 1.38에서 개선 될 수없는 이유는 무엇입니까?

여기서 1.38 MASE는 표 4에서 ungated 버전으로 제공됩니다. ARIMA의 1-24 개월 전 예상 평균 ASE입니다. ForecastPro, ETS 등과 같은 다른 표준 방법은 훨씬 더 성능이 떨어집니다.

그리고 여기서 대답은 어려워 집니다. 데이터를 고려하지 않고 예측 정확도를 판단하는 것은 항상 매우 문제가됩니다. 이 특별한 경우에 내가 생각할 수있는 한 가지 가능성은 추세를 가속화하는 것일 수 있습니다. 를 예측하려고한다고 가정하자 $\exp(t)$ 표준 방법으로. 이것들 중 어느 것도 가속 추세를 포착하지 못합니다 (그리고 이것은 일반적으로 좋은 것입니다-예측 알고리즘이 종종 가속 추세를 모델링하면 마크를 훨씬 능가 할 것입니다) .1보다 큰 MASE를 생성합니다. 예를 들어, 수준 이동 또는 SARS 또는 9/11과 같은 외부 영향과 같은 다른 구조적 중단이 발생합니다. 이는 비인 과적 벤치 마크 모델로 포착되지 않지만 전용 관광 예측 방법으로 모델링 할 수 있습니다 ( 홀드 아웃 샘플의 향후 원인은 일종의 부정 행위입니다.

따라서 데이터 자체를 보지 않으면 이것에 대해 많이 말할 수 없을 것입니다. Kaggle에서 사용할 수 있습니다. 최선의 방법은이 518 시리즈를 가져 가고 지난 24 개월 동안 개최하고 ARIMA 시리즈를 맞추고 MASE를 계산하며 10 개 또는 20 개의 MASE 최악의 예측 시리즈를 발굴하며 큰 커피를 마시고이 시리즈를보고 시도 할 가능성이 높습니다 ARIMA 모델을 예측하는 데 나쁜 점이 무엇인지 파악해야합니다.

편집 : 사실 후에 분명하게 보이지만 5 일이 걸렸다는 또 다른 요점 -MASE 의 분모는 샘플 내 무작위 도보 예측 보다 한 단계 앞서는 반면 분자는 1-24 의 평균입니다. 사전 예측. 지평이 증가함에 따라 예측이 악화되는 것은 그리 놀라운 일이 아니므로 MASE가 1.38 인 또 다른 이유 일 수 있습니다. 계절 순진 예측도 벤치 마크에 포함되었으며 MASE가 훨씬 높았습니다.

— 콜라 사
소스

좋은 답변입니다! 원본 논문을 간결하게 요약 해 주셔서 감사합니다 (시작되지 않은 모든 문서에 유용한 바로 가기 역할을합니다). 귀하의 답변 뒤에있는 주요 아이디어는 내 추측과 충돌하지 않는 것 같습니다 (그러나 확장합니다). 샘플 내 순진한 예측 오류가 과소 평가하는 특별한 샘플이 있습니다.

— Richard Hardy

답은 아니지만 스테판 콜라 사 (Stephan Kolassa)의 "이 시리즈를 보자"는 요청에 따른 음모.
Kaggle tourism1 에는 매년 518 개의 시계열이 있으며 마지막 4 개의 값을 예측하려고합니다.

여기에 이미지 설명을 입력하십시오

은 "순"상수 예측기, 여기로부터 플롯 표시 오차 : 마지막 모퉁이의 숫자 81 12 ... 는 범위의 % 인 및 입니다. 3 개의 행은 최악의 10 개, 중간에 10 개, 모든 518 년 시계열 중 10 개입니다. $5^{th}$
$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}|$
$Error4(y)$ $length(y)$

분명히, 매우 짧은 시리즈 (12 11 7 7 7 ... 맨 위 행)는 예측하기 어렵습니다.
(Athanasopoulos, Hyndman, Song and Wu, The Tourism Forecasting Competition (2011, 23p))는 518 년 시리즈 중 112 개를 사용했지만 어느 것을 보지 못했습니다.

2010 년 이후 시계 시리즈의 다른 최신 컬렉션이 있습니까?

— 거부
소스

감사! 마지막 질문에 대한 답을 모르겠습니다.

— Richard Hardy

@denis : 당신의 질문을보고 - 당신의 데이터를 요청 할 수 있습니다 OpenData.SE .

— S. Kolassa-복 직원 모니카