패널 / 세로 데이터에 대한 예측 평가 지표

매월 수준에서 행동 예측을 제공하는 여러 가지 다른 모델을 평가하고 싶습니다. 데이터는 균형이 잡히고 100,000이고 12입니다. 결과는 주어진 달에 콘서트에 참석하므로 한 달에 ~ 80 %의 사람들에게는 0이지만, 무거운 사용자의 긴 꼬리가 있습니다. 내가 예측 한 결과는 결과의 카운트 특성을 존중하지 않는 것 같습니다. 분수 콘서트가 만연합니다. $n=$ $T=$

나는 모델에 대해 아무것도 모른다. I는 단지 6 개의 블랙 박스 예측 관찰 한달에 각 사람. 나는 모델 제작자들이 추정을 위해 가지고 있지 않은 여분의 데이터를 가지고 있지만 (콘서트 참가자는 동일하게 유지되지만) 정확성과 정확성 측면에서 각각의 성능을 측정하고 싶습니다. 예를 들어, 일부 모델은 잦은 콘서트 참가자에게는 잘 예측되지만 소파 감자에게는 실패합니까? 1 월 예측이 12 월 예측보다 낫습니까? 또는 정확한 크기를 신뢰할 수없는 경우에도 예측을 통해 실제 측면에서 사람들의 순위를 올바르게 지정할 수 있다는 점을 알고 있으면 좋을 것입니다. $\hat y_1,...,\hat y_6$

첫 번째 생각은 예측 및 시간 인형에 대한 실제의 고정 효과 회귀 분석을 실행하고 각 모델에 대한 RMSE 또는 를 살펴 보는 것이 었습니다 . 그러나 RMSE를 부트 스트랩하지 않는 한 각 모델의 위치 또는 차이점이 중요한지에 대한 질문에는 대답하지 않습니다. 결과의 분포는 또한이 접근법에 대해 걱정합니다. $R^2$

두 번째 아이디어는 결과를 0, 1-3 및 3+로 묶고 혼동 행렬을 계산하는 것이었지만 12 개를 만들지 않으면 시간 차원을 무시합니다. 또한 꽤 거칠다.

concordTJ Steichen과 NJ Cox 의 Stata 명령 을 알고 있습니다.이 by()옵션 에는 옵션이 있지만 데이터를 연간 총계로 축소해야합니다. 이것은 다른 유용한 통계 중에서도 신뢰 구간 이있는 Lin의 일치 상관 지수 를 계산 합니다. CCC는 -1에서 1까지이며 1과 완벽하게 일치합니다.

$c$ somersdcluster $c=0.5$ $c=1$

이 문제를 어떻게 해결 하시겠습니까? 예측에 일반적인 MAPE와 같은 통계 계산을 제안 하시겠습니까?

지금까지 유용한 것들 :

Lin의 일치도 상관 계수의 반복 측정 버전 슬라이드

— 디미트리 V. 마스터 로프
소스

우리는 행동에 대해 더 알아야 할 필요가 있습니다. 서수 / 이진 / 연속적인 가치가 있습니까? 이 실험은 종단이기 때문에 개인의 결과를 예측하거나 예측하는 데 관심이 있습니까? 혼합 효과 모델은 예측이 아닌 추론에 사용됩니다. 예측 하려면 랜덤 효과의 추정치가 필요 하기 때문에 작동하지 않습니다 .

— AdamO

실제 행동은 카운트 또는 연속입니다. 예측은 모두 연속적입니다. 개인 수준의 월간 예측이 얼마나 좋은지 알고 싶습니다.

— Dimitriy V. Masterov 2016

\hat{Y_{i = 12}} = f (X_{i = 12, 11, \dots, 1}, Y_{i = 11, 10, \dots, 1}

$\widehat{Y_{i=12}} = f(X_{i=12, 11, \cdots, 1}, Y_{i=11, 10, \cdots, 1}$

\hat{Y_{i = I}} = f (X_{i = I, I - 1, \dots, 1}, Y_{i = I - 1, I - 2, \dots, 1}

$\widehat{Y_{i=I}} = f(X_{i=I, I-1, \cdots, 1}, Y_{i=I-1, I-2, \cdots, 1}$

\hat{Y_{i}} = f (X_{i})

$\widehat{Y_{i}} = f(X_{i})$

i

$i$

{\hat{Y}}_{i, 1} = f (Y_{i, t - 1}, X_{i, t}) .

$\hat Y_{i,1}=f(Y_{i,t-1},X_{i,t}).$

{\hat{Y}}_{i, 2} = f ({\hat{Y}}_{i, 1}, X_{i, 2})

$\hat Y_{i,2}=f(\hat Y_{i,1},X_{i,2})$

Y_{i, t}

$Y_{i,t}$

{\hat{Y}}_{i, t}

$\hat Y_{i,t}$

추정은 예측 모델에 대한 "훈련"의 일부일 수있는 모수 추정을 의미하지만 샘플이 예측 모델을 훈련하는 데 사용된다고 말하는 것입니다. 여기서 말하는 것은 조건부 세미 마코프 프로세스이며 예측에 고유 한 응용 프로그램이 있습니다.

— AdamO 2016 년

semi-Markov 예측의 예측 능력을 평가하기 위해 표본 크기 및 기타 사용 가능한 정보에 따라 여러 가지 방법이 있습니다.

예측 / 예측 모델을 평가하기 위해 모델이 "훈련"샘플로 추정되고 모델 불확실성이 "유효성 검증"으로 평가되는 교차 검증 (특히, 일회성 또는 반복 분할 샘플 교차 검증) 옵션이 있습니다. 견본. 결과 분포에 따라 적격 모델의 패널 중에서 모델을 선택할 수있는 여러 측정 값을 사용할 수 있습니다. 모델 선택에 대한 일반적인 비모수 적 측정의 경우 AIC 및 BIC, 특히 후자를 선호합니다.

CCC 및 c- 통계량은 테스트 / 검정과 같은 이진 단면 예측을 평가하는 데 사용되므로 BMI 또는 IQ를 예측하는 경우이를 배제해야합니다. 교정 (Hosmer Lemeshow 테스트와 같은) 및 소위 계층화 능력을 측정합니다. 적어도 내가 알 수없는 한 지속적인 결과에 직관적으로 연결되지 않습니다.

반면에 RMSE는 연속 예측을 평가하는 데 사용됩니다 (RMSE가 고풍스럽고 더 이상 사용되지 않는 모델 평가 도구 인 Brier Score라고하는 위험 예측의 경우는 제외). 이 도구는 훌륭한 도구이며 매일 발생하는 예측 모델 (예상 날씨, 에너지 등급, 차량 MPG 등)의 80 % 이상을 교정하는 데 사용됩니다.

예측 모델을 평가하기위한 분할 샘플 검증 또는 리샘플링의주의 사항은 샘플에서 과거 결과를 예측할 때 미래의 결과에만 관심이있을 수 있다는 것입니다. 이러지 마! 모델 애플리케이션을 반영하지 않으며 부정적인 방식으로 선택을 크게 좌우할 수 있습니다. 사용 가능한 모든 정보를 롤 포워드하고 사용 가능한 모든 경우에 미래의 관찰되지 않은 결과를 예측하십시오.

적용된 선형 모델 책은 거의 대부분 예측, RMSE, 훈련 및 검증 모델의 뉘앙스를 다룹니다. 좋은 시작은 Kutner, Nachtsheim, Neter, Li입니다. Diggle의 "Time Series Analysis", Diggle Heagerty Zeger Li, "Longitudinal Data Analysis"및 잠재적으로 Harrell의 "Regression Modeling Strategies"도 고려하십시오.

— AdamO
소스

CCC와 Harrell의 c는 지속적인 결과와 함께 사용될 수 있습니다. CCC는 또한 반복 된 측정 구현을 가지고 있습니다. 질문에 추가 한 참조 / 링크를 참조하십시오.

— Dimitriy V. Masterov 2016

중요하지 않습니다. 당신은 분류하지 않습니다.

— AdamO 2016 년