언제 모델 찾기를 중단해야합니까?

나는 에너지의 주가와 날씨 사이의 모델을 찾고 있습니다. 유럽 ​​국가간에 구매 한 MWatt의 가격과 날씨에 대한 많은 가치가 있습니다 (Grib 파일). 각 시간은 5 년 (2011-2015)입니다.

가격 / 일

이것은 1 년 동안 하루입니다. 나는 5 년에 시간당이 있습니다.

날씨의 예

1 시간 동안 켈빈 단위의 3Dscatterplot. 시간당 데이터 당 1000 개의 값과 klevin, wind, geopential 등과 같은 200 개의 데이터가 있습니다.

Mwatt의 시간당 평균 가격을 예측하려고합니다.

날씨에 대한 데이터는 밀도가 높고 시간당 10000 개가 넘는 값을 제공하므로 상관 관계가 높습니다. 짧고 큰 데이터의 문제입니다.

결과로 MWatt의 평균 가격과 수입으로 내 날씨 데이터를 사용하여 Lasso, Ridge 및 SVR 방법을 시도했습니다. 훈련 데이터로 70 %, 테스트로 30 %를 사용했습니다. 내 테스트의 데이터가 예측이 아닌 경우 (훈련 데이터 내부의 어딘가) 예측이 좋습니다 (R² = 0.89). 하지만 내 데이터를 예측하고 싶습니다.

따라서 훈련 데이터 이후에 시험 데이터가 시간순으로 표시되는 경우 아무것도 예측하지 않습니다 (R² = 0.05). 나는 시간 serie이기 때문에 그것이 정상이라고 생각합니다. 그리고 많은 자기 상관이 있습니다.

ARIMA와 같은 시간 시리즈 모델을 사용해야한다고 생각했습니다. 나는 방법의 순서를 계산하고 (serie는 고정적임) 테스트했다. 그러나 작동하지 않습니다. 나는 예측의 r²가 0.05라는 것을 의미한다. 테스트 데이터에 대한 나의 예측은 전혀 테스트 데이터에 대한 것이 아니다. 날씨를 회귀 변수로 사용하여 ARIMAX 방법을 시도했습니다. 정보를 추가하지 않습니다.

ACF / PCF, 시험 / 기차 데이터

그래서 나는 매일 그리고 매주 계절 삭감을했습니다

일

첫 번째 추세에 주

그리고 내 주가 추세 경향을 미리 예측할 수 있다면 이것을 가질 수 있습니다.

파란색은 내 예측이고 빨간색은 실제 값입니다.

날씨의 롤링 평균을 수입으로하고 주가 추세를 결과로하여 회귀 분석을하겠습니다. 그러나 지금은 아무런 관계가 없습니다.

그러나 상호 작용이 없다면 아무것도 없다는 것을 어떻게 알 수 있습니까? 어쩌면 내가 찾지 못한 것일 수도 있습니다.

"계산 역학"이라는 공식 과학 영역에 관심이있을 수 있습니다. James Crutchfield와 David Feldman의 기사에서 그들은 (1) 결정 론적 불확실성과 결정 론적 관계를 유추하기위한 정보 비용, (2) 확률론 사이의 경계를 파싱하는 것으로서, 계산 역학 프로그램을 이해했습니다. 불확실성과 확률 분포를 유추하는 정보 비용, (3) 엔트로피 불확실성과 정보가 열악한 결과.

귀하의 질문에 직접 답하기 위해서는 (넓은 질문을 했으므로 상당히 광범위하지만), 데이터에서 "충분히"또는 "우리가 할 수있는 모든 것"을 언제 배웠는지 알 수있는 방법은 공개 된 연구 영역입니다. 전자는 필연적으로 세계의 연구원이자 배우로서의 요구에 따라 결정될 것입니다 (예 : 시간, 처리 능력, 메모리, 긴급 등).

나는이 분야에 있지 않거나이 특정 기사에 깊이 빠져 있지만, 그들은 멋진 사상가입니다. :)

Crutchfield, JP and Feldman, DP (2003). 보이지 않는 규칙 성, 무작위성 관찰 : 엔트로피 수렴 수준 . 혼돈 , 13 (1) : 25–54.