임의의 숲이 과적 합

scikits-learn에서 Random Forest Regression을 사용하려고합니다. 문제는 테스트 오류가 매우 높다는 것입니다.

train MSE, 4.64, test MSE: 252.25.

내 데이터 모양은 다음과 같습니다. (파란색 : 실제 데이터, 초록색 : 예측 됨) :

훈련에 90 %, 시험에 10 %를 사용하고 있습니다. 이것은 여러 매개 변수 조합을 시도한 후 사용중인 코드입니다.

rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, max_depth=1000, min_samples_leaf=1, min_samples_split=2, n_jobs=-1) 
test_mse = mean_squared_error(y_test, rf.predict(X_test))
train_mse = mean_squared_error(y_train, rf.predict(X_train))

print("train MSE, %.4f, test MSE: %.4f" % (train_mse, test_mse))
plot(rf.predict(X))
plot(y)

피팅 개선을위한 가능한 전략은 무엇입니까? 기본 모델을 추출하기 위해 다른 방법이 있습니까? 같은 패턴을 너무 많이 반복 한 후에는 모델이 새로운 데이터로 너무 나쁘게 동작한다는 것은 놀라운 일입니다. 이 데이터를 맞추려고 전혀 희망이 있습니까?

당신이 잘못된 도구를 사용하고 있다고 생각합니다. 전체 X가 색인과 동일한 경우 기본적으로 샘플 기능이 있습니다. 있고 추정하려고합니다. 머신 러닝은 역사를 보간하는 것에 관한 것이므로이 경우 엄청난 실패를 기록하는 것은 놀라운 일이 아닙니다.$f:\mathbb{R}\rightarrow\mathbb{R}$

시계열 분석 (예 : 추세 추출, 스펙트럼 분석 및 자동 회귀 또는 나머지 HMMing) 또는 물리학 (즉, 이러한 출력을 생성하고 보존 된 수량을 통해 매개 변수를 맞추려는 ODE가 있는지 생각)이 필요합니다.

가장 큰 문제는 회귀 트리 (및 임의 포리스트와 같은 알고리즘을 기반으로하는 알고리즘)가 조각 별 상수 함수를 예측하여 각 리프 아래로 떨어지는 입력에 대해 일정한 값을 제공한다는 것입니다. 이것은 훈련 영역 밖에서 외삽 할 때 훈련 데이터가있는 가장 가까운 지점과 동일한 가치를 예측한다는 것을 의미합니다. @mbq는 일반적인 기계 학습 기술보다 나은 시계열 학습을위한 특수화 된 도구가 있다는 것이 맞습니다. 그러나 임의 포리스트는이 예에서 특히 좋지 않으며 다른 일반적인 ML 기술은 현재보고있는 것보다 훨씬 더 나은 성능을 발휘할 수 있습니다. 비선형 커널이있는 SVM은 하나의 옵션입니다. 함수는주기적인 구조를 가지고 있기 때문에 주파수 영역을 사용하는 것이 좋습니다.

이것은 데이터 과적 합에 대한 교과서의 예이며, 모델은 훈련 된 데이터에서는 잘 수행되지만 새로운 테스트 데이터에서는 축소됩니다. 이는이를 해결하기위한 전략 중 하나입니다. 교육 데이터를 10 배 교차 검증하여 매개 변수를 최적화하십시오.

단계 1. NM 최적화를 사용하여 MSE 최소화 기능을 작성하십시오. 예를 여기에서 볼 수 있습니다. http://glowingpython.blogspot.de/2011/05/curve-fitting-using-fmin.html

2 단계.이 최소화 기능 내에서 목표는 MSE를 줄이는 것입니다. 이를 위해, 9 배로 새로운 모델을 학습하고 10 배로 테스트하는 데이터의 10 배 분할을 작성하십시오. 이 과정을 10 회 반복하여 각 접힘에서 MSE를 얻습니다. 집계 된 MSE는 목표의 결과로 리턴됩니다.

3 단계. 파이썬의 fmin이 반복을 수행합니다. 미세 조정에 필요한 하이퍼 파라미터 (n_estimators, max_features 등)를 확인하고 fmin에 전달하십시오.

결과는 과적 합의 가능성을 줄이는 최고의 하이퍼 파라미터가됩니다.

몇 가지 제안 :

1. 롤링 윈도우 접근 방식을 사용하여 매개 변수 조정 ( 다음 을 예측하도록 모델을 최적화해야합니다. 제공된 값 중 값을 예측하지 않고 시계열 값 )
2. 다른 모델을 사용해보십시오 (적절한 기능 선택 및 기능 엔지니어링 전략을 갖춘 더 간단한 모델도 문제에 더 적합 할 수 있음)
3. 목표 변수의 최적 변환을 배우십시오 (이것도 조정하십시오. 음의 선형 / 지수 경향이 있습니다, 당신은 그것을 추정 할 수 있습니다)
4. 스펙트럼 분석
5. 최대 값 / 최소값은 동일한 간격으로 보입니다. 기능이 제공되는 위치 (연산자 입력 없음, 알고리즘이 검색하여 바이어스를 제거하도록 함)를 파악하고이를 기능으로 추가하십시오. 또한 기능을 설계하십시오 nearest maximum. Dunno, 작동 할 수도 있고 아닐 수도 있습니다. 테스트 한 경우에만 알 수 있습니다. :)

$x^2$$x_2$

위의 게시물을 읽은 후에 다른 답변을주고 싶습니다.

랜덤 포레스트와 같은 트리 기반 모델의 경우 훈련 세트 이상의 가치를 추정 할 수 없습니다. 그래서 나는 그것이 너무 적합한 문제가 아니라 잘못된 모델링 전략이라고 생각합니다.

그렇다면 트리 모델을 사용하여 시계열 예측을 위해 무엇을 할 수 있습니까?

가능한 방법은 이것을 선형 회귀와 결합하는 것입니다. 먼저 시계열의 추세를 낮추거나 선형 회귀를 사용하여 모델링 추세를 유지 한 다음 잔차를 나무로 모델링합니다 (잔여가 제한되어 있으므로 트리 모델에서 처리 할 수 ​​있음).

또한 선형 회귀와 결합 된 나무 모델이 있는데, 입체파라고 부르며 잎에서 선형 회귀를 수행합니다.

그래프의 경계 내에서 단순히 예측하려면 데이터 세트를 분할하기 전에 관측치를 무작위 화하면 문제가 해결됩니다. 그런 다음 그림과 같이 외삽 법에서 보간 문제가됩니다.