이것이 최첨단 회귀 방법론입니까?

저는 오랫동안 Kaggle 대회를 따라 왔으며 많은 우승 전략에는 "빅 3"중 하나 이상을 사용하는 것이 포함되어 있습니다. 포장, 부스팅 및 스태킹.

회귀 분석의 경우 가능한 최상의 회귀 모델을 작성하는 데 초점을 맞추지 않고 (일반화 된) 선형 회귀, 임의 포리스트, KNN, NN 및 SVM 회귀 모델과 같은 다중 회귀 모델을 작성하고 결과를 합리적인 방식으로 혼합하는 것이 좋습니다. -각 개별 방법을 여러 번 수행하십시오.

물론, 각 방법에 대한 확실한 이해가 핵심이며 선형 회귀 모델을 기반으로 직관적 인 이야기를 들려 줄 수 있지만, 최상의 결과를 달성하기 위해 이것이 최첨단 방법론이되었는지 궁금합니다.

그것은 당신이 몇 가지 예측을 가지고가는 경우에 것을, '적어도 1960 년대 후반부터 잘 알려져 ^† 와 평균 을 다음 많은 경우의 결과 집계 예측 개별 예측을 능가 할 것이다. 배깅, 부스팅 및 스태킹 은 모두이 아이디어를 기반으로합니다. 예, 목표가 순전히 예측이라면 대부분의 경우 이것이 최선의 방법입니다. 이 방법에서 문제가되는 것은 결과를 반환하지만이를 이해하고 해석하는 데 도움이되지 않는 블랙 박스 방식이라는 것입니다. 물론 단일 예측 대신 예측을 거의 계산하지 않기 때문에 다른 방법보다 계산 집약적입니다.

_{† 이것은 일반적으로 모든 예측 에 관한 것이지만 종종 예측 문헌에 설명되어 있습니다.}

Winkler, RL. 및 Makridakis, S. (1983). 예측의 조합. JR 통계 Soc. A. 146 (2), 150-157.

Makridakis, S. and Winkler, RL (1983). 예측 평균 : 일부 경험적 결과. 경영 과학, 29 (9) 987-996.

클레멘, RT (1989). 예측 결합 : 검토 및 주석이 달린 참고 문헌. International Journal of Forecasting, 5, 559-583.

Bates, JM and Granger, CW (1969). 예측의 조합. 또는 451-468입니다.

Makridakis, S. and Hibon, M. (2000). M3- 경쟁 : 결과, 결론 및 시사점. 국제 예측 저널, 16 (4), 451-476.

리드, DJ (1968). 국내 총생산의 3 가지 추정치 결합. Economica, 431-444.

Makridakis, S., Spiliotis, E. 및 Assimakopoulos, V. (2018). M4 경쟁 : 결과, 결과, 결론 및 진전. 국제 예측 저널.

Arthur (1994) 는 복잡한 문헌에 잘 알려진 짧은 논문 / 사고 실험을 가지고 있습니다.

결론 중 하나는 에이전트가 비평 형 조건에서 더 나은 예측 모델을 선택할 수 없다는 것입니다. 예를 들어, 질문이 주식 시장 성과에 적용되는 경우 Arthur (1994) 설정이 적용될 수 있습니다.