예측 정확도 계산

시계열 데이터 예측에 STL (R 구현)을 사용하고 있습니다.

매일 우리는 매일 예측을 실행합니다. 예측 값을 실제 값과 비교하고 평균 편차를 식별하려고합니다. 예를 들어 내일에 대한 예측을 실행하고 예측 지점을 확보 한 후이 예측 지점을 내일 얻을 실제 데이터와 비교하려고합니다. 예측 값과 실제 데이터가 대부분 일치하지 않을 수 있다는 것을 알고 있습니다. 이것이 우리가 매일 얼마나 정확한지 추적하려는 이유 중 하나입니다.

이제 우리는이 문제를 해결하는 가장 좋은 방법이 무엇인지 확인하려고 노력하고 있습니까? 모든 도움을 주시면 감사하겠습니다.

예측 정확도 질문 측정을 보았지만 정확도를 실제 값으로 계산하는 대신 모델을 비교하는 것과 관련이있는 것 같습니다.

R의 정확도 함수 구현을 살펴 보았지만 두 가지 질문과 혼동되었습니다.

1) 대부분의 학습서에서 "테스트 데이터"와 "예측 데이터"라고 말하는 실제 데이터와 예측 데이터에 대해 작동합니까?

2) 정확도 기능은 편차의 %가 아닌 값의 배열입니다.

예측 정확도를 측정하는 방법에는 여러 가지가 있으며 accuracy()R 출력에 대한 예측 패키지 의 기능 중 몇 가지가 있습니다. "편차의 %"에 대한 귀하의 의견에 따르면에서 제공하는 측정 중 하나 인 평균 절대 백분율 오류를 사용하려는 것 같습니다 accuracy(). 예측 정확도의 가장 일반적인 측정 방법은 여기에서 설명합니다 . MAPE가 문제에 가장 적합한 방법인지 또는 다른 방법 중 하나가 더 나은지 생각하고 싶을 수도 있습니다.

이 accuracy()기능은 실제 데이터에서 작동합니다. "테스트 데이터"는 예측을 구성하는 데 사용되지 않은 데이터입니다. 때로는 예측이 계산 될 때 사용 가능하지만 사용되지 않는 경우도 있습니다 (전통적인 데이터를 교육 및 테스트 세트로 분할). 다른 상황에서는 사용 가능한 모든 데이터를 사용하여 예측을 계산 한 다음 테스트 데이터로 사용할 미래의 관측치가있을 때까지 기다려야합니다.

따라서 f예측 x벡터이고 같은 시간에 해당하는 관측 벡터 인 경우

accuracy(f,x)

당신이 원하는 것을 할 것입니다.

먼저, 정확성과 정밀성의 개념이 있음을 분명히하자. 정확도는 일반적으로 편차, 즉 실제와 예측의 체계적인 편차와 관련이 있습니다. 정밀도는 일반적으로 예측 오차의 분산과 관련이 있습니다. 이 같은:$Accuracy=E(f)-y$ vs. $Precision=Var[f-y]$. 따라서 게시물에서 "정확도"를 언급 할 때 차이점을 알고 있습니까?

둘째, 다음과 같은 예측 품질 측정 방법이 통합되어 있습니다. $MSFE=\frac{1}{n}\sum_{i=1}^n(f_i-y_i)^2$, 어디 $f_i$ 과 $y_i$예측과 실제입니다. 매개 변수 불변성에 대한 Chow 테스트와 같은이 측정에 대한 통계가 있습니다.

나는 R에서 이것을하고있다. 샘플 및 샘플 외부 데이터에 대한 내 데이터 코드는 다음과 같습니다.

#accuracy testing for out-of-sample sample#

M<-#data#
deltaT<-#set observations per year,1/4 for quarterly, 1/12 for monthly
horiz<-#set amount of forecasts required
startY<-c(#,#) #set start date
N<-head(M,-horiz)
Nu<-log(Nu)
Nu<-ts(Nu,deltat=deltaT,start=startY)

#Run your forecasting method#
##My forecasting method is arima##

N<-#data#
N<-ts(N,deltat=deltaT,start=startY)
N<-tail(N,horiz)
fitted<-ts(append(fitted(Arimab), fArimab$mean[1]), deltat=deltaT, start = startY) #where Arimab is the ARIMA model and fArimab<-forecast(Arimab, h=horiz*2, simulate= TRUE, fan=TRUE)
N<-log(N)
fitted<-head(fitted,length(N))
error<-N-fitted
percenterror<-100*error/N
plus<-N+fitted
rmse<-function(error)
  sqrt(mean(error^2))
mae<-function(error)
  mean(abs(error))
mape<-function(percenterror)
  mean(abs(percenterror))
smape<-function(error,plus)
  mean(200*abs(error)/(plus))
mse<-function(error)
  mean(error^2)
me<-function(error)
  mean(error)
mpe<-function(percenterror)
  mean(percenterror)
accuracy<-matrix(c("rmse","mae","mape","smape","mse","me","mpe",(round(rmse(error),digits=3)),(round(mae(error),digits=3)),(round(mape(percenterror),digits=3)),(round(smape(error,plus),digits=3)),(round(mse(error),digits=3)),(round(me(error),digits=3)),(round(mpe(percenterror),digits=3))),ncol=2,byrow=FALSE)
View(accuracy,title="Accuracy of ARIMA out sample")

#Accuracy testing for the in sample

M<-#data#
deltaT<-#set observations per year,1/4 for quarterly, 1/12 for monthly
horiz<-#set amount of forecasts required
startY<-c(#,#) #set start date
Nu<-log(Nu)
Nu<-ts(Nu,deltat=deltaT,start=startY)
#run your forecasting method#
fitted<-ts(append(fitted(Arimab), fArimab$mean[1]), deltat=deltaT, start = startY)
N<-exp(Nu)
fitted<-exp(fitted)
fitted<-head(fitted,length(N))
error<-N-fitted
percenterror<-100*error/N
plus<-N+fitted
rmse<-function(error)
  sqrt(mean(error^2))
mae<-function(error)
  mean(abs(error))
mape<-function(percenterror)
  mean(abs(percenterror))
smape<-function(error,plus)
  mean(200*abs(error)/(plus))
mse<-function(error)
  mean(error^2)
me<-function(error)
  mean(error)
mpe<-function(percenterror)
  mean(percenterror)
accuracy<-matrix(c("rmse","mae","mape","smape","mse","me","mpe",(round(rmse(error),digits=3)),(round(mae(error),digits=3)),(round(mape(percenterror),digits=3)),(round(smape(error,plus),digits=3)),(round(mse(error),digits=3)),(round(me(error),digits=3)),(round(mpe(percenterror),digits=3))),ncol=2,byrow=FALSE)
View(accuracy,title="Accuracy of ARIMA in sample")

이것이 조금 도움이되기를 바랍니다. 내 전체 코드를 원한다면 이것을 실행하는 데 사용하십시오. 이것은 매우 기본이므로 요청하십시오.

짧은 대답 : 예측의 품질을 평가하려면 모델의 훈련 (피팅)에 사용한 것과 정확히 동일한 척도를 사용하십시오.

긴 대답 :

예측 정확도에 대한 측정 값을 선택하려면 먼저 예측을 해석하는 방법을 알아야합니다. 다시 말해, 실제로 "예측"으로 무엇을 제공합니까? 그것은 가치를 의미 하는가? 중앙값? 가장 가능성있는 가치? 이 질문에 대한 답은 예측 정확도의 측정 값을 고유하게 식별합니다. 평균을 예측하는 경우 근사 평균 제곱 편차를 예측 정확도의 척도로 사용해야합니다. 중앙값을 예측하는 경우 평균 절대 편차를 정확도 측정 값으로 사용해야합니다.

이 시점에서 조금 자세히 설명하겠습니다. 내일에 대한 예측 / 예측을 가정합니다. 또한 내일 관찰 할 수있는 모든 값에 대해 해당 확률을 관찰해야한다고 가정하겠습니다. 예를 들어 확률이 0.03 인 1, 확률이 0.07 인 2, 확률이 0.11 인 3 등을 관찰 할 수 있습니다. 따라서 다른 값에 대한 확률 분포가 있습니다. 이 분포를 사용하면 다른 속성을 계산하여 "예측"으로 제공 할 수 있습니다. 평균을 계산하여 내일의 예측으로 제공 할 수 있습니다. 또는 중간 값을 예측으로 사용할 수 있습니다. 또한 가장 가능성있는 가치를 찾아 내일의 예측으로 제시 할 수 있습니다.

평균값을 예측으로 사용하는 경우 "내 예측의 정확도를 측정하는 방법"이라는 질문이 "평균의 정확도를 측정하는 방법"으로 바뀌어야하며 그 대답은 "평균의 평균 제곱 편차"입니다. 실제 가치와 예측 ". 중앙값을 예측으로 사용하는 경우 평균 절대 편차를 사용해야합니다.

중간 값이나 의미 또는 다른 것을 사용하는지 모르는 것일 수 있습니다. 실제로 예측으로 사용하는 것을 찾으려면 훈련에서 최소화하려는 측정 값을 알아야합니다. 예측과 훈련 데이터의 목표 값 사이의 제곱 평균 제곱 편차를 최소화하는 모형의 모수를 찾으려면 예측을 평균으로 처리해야합니다. 절대 편차를 최소화하는 경우 중앙값 등을 제공하도록 모델을 훈련시킵니다.

추가

한 가지만 강조하고 싶습니다. 위에서 언급했듯이 "적합"과 "예측"에서 동일한 정확도를 유지하는 것이 중요합니다. 그 외에도 나는 당신이 당신의 측정 값을 선택할 때 절대적으로 자유 롭다고 말하고 싶습니다. "더 나은"또는 "더 나쁜"조치는 없습니다. 측정 값은 사용자 (또는 클라이언트)가 예측을 사용하는 방식에 따라 결정되어야합니다. 예를 들어, 정확하게 일치하는 것이 매우 중요 할 수 있으며 (실제로 일치하지 않는 경우 실제 값과 예측 값의 차이가 크거나 작은 경우) 아무런 역할을하지 않습니다. 다른 경우에는이 차이가 중요한 역할을합니다. 1의 차이는 2의 차이보다 낫습니다. 경우에 따라 2의 차이는 1의 차이보다 2 배 더 나쁩니다. 다른 경우에는 2와 같은 차이가 1과 같은 차이보다 100 배 더 나쁩니다. 관측치와 다른 값을 생성해야하는 이국적인 경우도 상상할 수 있습니다. 따라서 생성하는 숫자의 품질 측정은 필요한 것에 따라 원하는대로 할 수 있습니다. 중요한 것은 훈련 (적합)과 예측 평가에 동일한 척도를 사용하는 것입니다.