데이터 마이닝 : 기능적 형태를 찾으려면 어떻게해야합니까?

나는 함수의 함수 형태를 발견 할 수 있습니다 반복 절차에 대한 궁금 y = f(A, B, C) + error_term내 유일한 입력이 관찰의 집합이다 ( y, A, B및 C). 의 기능적 형태 f는 알려져 있지 않습니다.

다음 데이터 세트를 고려하십시오.

AA BB CC DD EE FF
== == == == == ==
98 11 66 84 67 10500
71 44 48 12 47 7250
54 28 90 73 95 5463
34 95 15 45 75 2581
56 37 79 79 3221
68 79 1 65 9 4721
53 2 90 10 18 3095
38 75 41 97 40 4558
29 99 46 28 96 5336
22 63 27 43 4 2196
4 5 89 78 39 492
10 28 39 59 64 1178
11 59 56 25 5 3418
10 4 79 98 24431
86 36 84 14 67 10526
80 46 29 96 7 7793
67 71 12 43 3 5411
14 63 2 9 52 368
99 62 56 81 26 13334
56 4 72 65 33 3495
51 40 62 11 52 5178
29 77 80 2 54 7001
42 32 4 17 72 1926
44 45 30 25 5 3360
6 3 65 16 87288

이 예에서는을 알고 FF = f(AA, BB, CC, DD, EE) + error term있지만의 기능적 형식에 대해 잘 모르겠다 고 가정합니다 f(...).

기능적 형태를 찾기 위해 어떤 절차 / 어떻게 사용 f(...)하시겠습니까?

(Bonus point : f위의 데이터를 정의 할 때 가장 잘 추측 할 수있는 것은 무엇입니까 ? :-) 그리고 네, R^20.99를 초과 하는 "올바른"답변이 있습니다.)

데이터에 가장 적합한 기능 형태 (소위 자유 형식 또는 기호 회귀)를 찾으려면이 도구를 사용해보십시오. 무료 :-)

http://creativemachines.cornell.edu/eureqa

편집 : 나는 Eureqa와 함께 그것을 주사하고 나는 갈 것이다 :

와 R 2 =

$$AA + AA^2 + BB*CC$$ $R^2=0.99988$

나는 그것을 완벽한 적합이라고 부를 것입니다 (Eureqa는 다른 더 적합한 피팅 솔루션을 제공하지만 이것들은 조금 더 복잡합니다. Eureqa는 이것을 선호하므로 이것을 선택했습니다)-그리고 Eureqa는 약 몇 ​​초 만에 모든 것을 수행했습니다. 일반 노트북 ;-)

만으로는 적합도의 좋은 척도가 아니지만모델링에서parsimony가 중요하다는 점을 제외하고는 여기에 들어 가지 마십시오.$R^2$

이를 위해 탐색 적 데이터 분석 (EDA) 및 회귀 ( 단순 또는 기타 자동화 된 절차는 아님 ) 의 표준 기술은 선형 모델을 사용하는 것이 좋습니다.

$$\sqrt{f} = a + b*c + a*b*c + \text{constant} + \text{error}$$

OLS를 사용하면 0.99 이상의 가 달성 됩니다. 이러한 결과로 기운 하나는 양측 회귀 정사각형 유혹 F를 에 , B * C , * B * C , 및 모든 사각형 및 제품. 이것은 즉시 모델을 생성합니다$R^2$$f$$a$$b*c$$a*b*c$

$$f = a^2 + b*c + \text{constant} + \text{error}$$

루트 MSE가 34 미만이고 조정 된 가 0.9999 인 경우$R^2$ . 추정 된 1.0112 및 0.988 계수는 공식을 사용하여 데이터를 인위적으로 생성 할 수 있음을 나타냅니다.

$$f = a^2 + b*c + 50$$

약 50에 상당하는 SD의 약간의 정규 분포 오차.

편집하다

@knorv의 힌트에 따라 분석을 계속했습니다. 이를 위해 원래 변수에 대해 잔차의 산점도 행렬을 검사하는 것으로 시작하여 지금까지 성공한 기술을 사용했습니다. 아니나 다를까, 사이의 상관 관계에 대한 명확한 표시가 있었다 및 잔차가 (심지어 OLS의 회귀 불구하고 F 에 대한 , 2 , 및 B * C 않았다 하지 표시 A가 "상당한"이었다). 이 정맥에서 계속 나는 차 용어들과 상관 탐구 2 , ... , 전자 2 , 을 *$a$$f$$a$$a^2$$b*c$$a$ 와 새로운 잔차는 b 2 와 작지만 매우 중요한 관계를 찾았 습니다. "매우 중요하다"는이 스누핑은 모두 20 가지의 다른 변수를 살펴 보는 것을 의미하므로,이 낚시 원정의 중요성에 대한 나의 기준은 대략 0.05 / 20 = 0.0025입니다.$a^2, \ldots, e^2, a*b, a*c, \ldots, d*e$$b^2$

이것은 우리가 "흥미로운"계수와 "단순한"계수와의 관계를 예상하고 검색한다는 점에서 물리적 모델의 특징을 가지고 있습니다. 예를 들어, 의 추정 계수 가 -0.0092 (95 % 신뢰도로 -0.005와 -0.013 사이)임을 알았을 때 -1/100을 사용하기로 결정했습니다. 이것이 사회 또는 정치 시스템의 관찰과 같은 다른 데이터 세트라면, 나는 그러한 변경을하지 않고 OLS 추정을 그대로 사용합니다.$b^2$

어쨌든, 개선 된 착용감은

$$f = a + a^2 + b*c - b^2/100 + 30.5 + \text{error}$$

평균 잔차 , 표준 편차 26.8, -50과 +43 사이의 모든 잔차 및 비정규성에 대한 증거는 없음 (그러한 작은 데이터 세트를 사용하더라도 오류가 균일하게 분포되어 실제로 차이를 알 수는 없음) 약 50에서 약 25까지의 잔차 표준 편차 감소는 종종 "잔차 분산의 75 %를 설명하는"것으로 표현됩니다.$0$

---

이 I 인 것을 더 특징으로 확인되지 데이터를 생성하는 데 사용되는 식 . 잔차는 일부 계수에서 상당히 큰 변화를 허용 할만큼 충분히 큽니다. 예를 들어, , b 2 및 상수 의 계수에 대한 95 % CI 는 각각 [-0.4, 2.7], [-0.013, -0.003] 및 [-7, 61]입니다. 요점은 임의의 오류가 실제로 데이터 생성 절차에 도입 된 경우 (그리고 모든 실제 데이터에 적용되는 경우), 계수 (및 관련 될 수있는 모든 변수의 결정적인 식별)를 배제 할 수 있다는 것입니다. ). 그것은 통계적 방법의 한계가 아닙니다 : 그것은 단지 수학적 사실 일뿐입니다.$a$$b^2$

BTW, 강력한 회귀를 사용하여 모델에 적합

$$f = 1.0103 a^2 + 0.99493 b*c - 0.007 b^2 + 46.78 + \text{error}$$

잔차 SD는 27.4이고 모든 잔차는 -51과 +47 사이입니다. 본질적으로 이전 적합치보다 우수하지만 변수가 하나 적습니다. 그런 의미에서 더 포용 적이지만 계수를 "좋은"값으로 반올림하지 않았다는 의미에서는 덜 포용 적입니다. 그럼에도 불구하고, 이것은 어떤 종류의 계수가 어떤 변수를 포함해야하는지에 대한 엄격한 이론이없는 회귀 분석에서 일반적으로 선호하는 형식입니다.

$R^2$

함수 f가 표본 데이터에 의해 고유하게 정의되지 않았기 때문에 질문을 수정해야 합니다. 동일한 데이터를 생성 할 수있는 여러 가지 기능이 있습니다.

즉, 분산 분석 (ANOVA) 또는 "민감도 연구"를 통해 입력 (AA..EE)이 출력 (FF)에 어떤 영향을 미치는지 알 수 있습니다.

방금 빠른 분산 분석을 수행하고 합리적인 모델을 찾았습니다 FF = 101*A + 47*B + 49*C - 4484. 이 기능은 DD 또는 EE에 선형 적으로 의존하지 않는 것 같습니다. 물론, 우리는 모델을 계속 진행하여 2 차 및 혼합 항을 추가 할 수 있습니다. 결국 데이터에 과적 합하고 예측 가치가없는 완벽한 모델을 갖게됩니다. :)

대체로 머신 러닝에는 무료 점심이 없습니다.

특히, 알고리즘 A가 일부 비용 함수에서 알고리즘 B를 능가하는 경우, 느슨하게 말해서 B가 A를 능가하는 다른 많은 함수와 정확히 일치해야합니다.

/ edit : 또한 C = 4이고 sigma = 0.206 인 방사형 SVM은 쉽게 R99를 산출합니다. 이 데이터 세트를 도출하는 데 사용 된 실제 방정식을 추출하는 것은 클래스에 대한 연습으로 남습니다. 코드는 R입니다.

setwd("~/wherever")
library('caret')
Data <- read.csv("CV.csv", header=TRUE)
FL <- as.formula("FF ~ AA+BB+CC+DD+EE")
model <- train(FL,data=Data,method='svmRadial',tuneGrid = expand.grid(.C=4,.sigma=0.206))
R2( predict(model, Data), Data$FF)

모든 모델이 잘못되었지만 일부는 유용합니다 : GEPBox

Y (T) =-4709.7
+ 102.60 * AA (T) -17.0707 * AA (T-1)
+ 62.4994 * BB (T) + 41.7453 * CC (T) + 965.70 * ZZ (T)

여기서 ZZ (T) = 0 = T = 1,10 = 1 기타

Y와 AA 사이에 "지연된 관계"가 있으며 관측치 11-25에 대한 평균의 설명 된 이동이 나타납니다.

이것이 연대순 또는 공간 데이터가 아닌 경우 궁금합니다.

97.2의 r 제곱

변수 YY
X1 AAS
X2 BB
X3 BBS
X4 CC 추정 / 진단 검사

잔차 수 (R) = n 25
자유도 수 = nm 20
잔차 평균 = Sum R / n -.141873E-05 제곱합
= Sum R 2 .775723E + 07
분산 = SOS / (n) 310289.
조정 분산 = SOS / (nm) 387861.
표준 편차 RMSE = SQRT (Adj Var) 622.785
평균의 표준 오차 = 표준 Dev / (nm) 139.259
평균 / 표준 오차 = 평균 / SEM -.101877E-07
평균 절대 편차 = 합 (ABS (R)) / n 455.684
AIC 값 (var 사용) = nln + 2m 326.131
SBC 값 (var 사용) = nln + m * lnn 332.226
BIC 값 (var 사용) = Wei p153 340.388
R Square 참조 = .972211
Durbin-Watson 통계 = [-A (T -1)] ** 2 / A 2 1.76580

**
모델 구성 요소 LAG COEFF 표준 PT
# (BOP) 오류 값 값

1CONSTANT                         -.381E+04   466.       .0000    -8.18

입력 시리즈 X1 AAS AA 정사각형

2Omega (input) -Factor #  1    0   .983       .410E-01   .0000    23.98

입력 된 입력 시리즈 X2 BB BB

3Omega (input) -Factor #  2    0   108.       14.9       .0000     7.27

입력 시리즈 X3 BBS BB 제곱

4Omega (input) -Factor #  3    0  -.577       .147       .0008    -3.93

입력 한대로 입력 시리즈 X4 CC CC

5Omega (input) -Factor #  4    0   49.9       4.67       .0000    10.67