교수의 회귀 모델 숨기기 (회귀 전함) [닫기]

저는 교수가 우리에게 진정한 회귀 모델을 만들고, 데이터 샘플을 시뮬레이션하고, 수업에서 배운 몇 가지 기술을 사용하여 실제 회귀 모델을 찾으려고하는 숙제를 과제 중입니다. 마찬가지로 우리는 그가받은 데이터 세트와 동일한 작업을 수행해야합니다.

그는 과거의 모든 시도에서 그를 시도하고 속이려고 아주 정확한 모델을 만들 수 있다고 말했다. 미친 모델을 만드는 몇몇 학생들이 있었지만, 그는 단지 더 간단한 모델을 만들 수 있었을 것입니다.

그가 찾을 까다로운 모델을 개발하려면 어떻게해야합니까? 4 차 2 차 항, 3 차 관측치 및 대규모 분산을 수행하여 매우 저렴하고 싶지 않습니까? 작은 모델이있는 겉보기에 무해한 데이터 세트를 어떻게 만들 수 있습니까?

그는 단순히 따라야 할 3 가지 규칙이 있습니다.

1. 데이터 세트에는 "Y", "X1", ..., "X20"으로 레이블이 지정된 하나의 "Y"변수와 20 개의 "X"변수가 있어야합니다.

2. 반응 변수 는 을 만족하는 선형 회귀 모델에서 여기서 및 입니다.$Y$
   

   $$Y_i^\prime = \beta_0 + \beta_1 X_{i1}^\prime + \ldots + \beta_{p-1}X_{i,p-1}^\prime + \epsilon_i$$ $\epsilon_i \sim N(0,\sigma^2)$$p \leq 21$

3. 를 생성하는 데 사용 된 모든 변수는 데이터 세트에 포함됩니다.$X$$Y$

20 개의 X 변수가 모두 실제 모델에 있어야하는 것은 아닙니다.

나는 같은 것을 사용하는 생각 파마 - 프랑스어 3 요소 모델 과 그를 주식 데이터 (SPX 및 AAPL)로 시작하고 조금 더를 obsfucate하기 위해 연속 복리 수익률에 해당 변수를 변환 할 필요. 그러나 그것은 첫 번째 관찰에서 결 측값을 남기고 시계열입니다 (우리는 아직 수업에서 논의하지 않았습니다).

이것이 이와 같은 것을 게시하기에 적절한 장소인지 확실하지 않습니다. 좋은 토론을 할 수있을 것 같은 느낌이 들었습니다.

편집 : 특히 "사전 구축 된"모델을 요구하지 않습니다. 누군가가 이것에 대해 갈 수있게하는 통계의 주제 / 도구에 대해 더 궁금합니다.

단순히 설명 된 부분보다 오차를 크게 만드십시오. 예 : . 여기서 , 및 입니다. 물론, 당신은 당신이 옳았 고 그가 틀렸다는 것을 교수에게 증명할 수 있도록 씨앗이 무엇인지 기억해야합니다.$y_i=X_{i1}+\epsilon_i$$X_{ij}=\sin(i+j)$$i=1..1000$$\sigma=1000000$

이 잡음 / 신호 비율로 위상을 식별하는 것이 좋습니다.

그의 목표가 를 만드는 진정한 데이터 생성 프로세스 를 복구하는 것이라면 교수를 속이는 것은 매우 사소한 일입니다. 예를 들어, 방해 및 다음 구조식을 고려하십시오. $Y$$\epsilon_i\sim N(0,1)$

만 포함하는 의 실제 DGP에 유의하십시오 . 조건 2는 거의 만족합니다. 은 를 작성하는 유일한 변수 이므로 및 제공하므로 조건 3도 만족 됩니다 .$Y$$X_1$$X_1$$Y$$X_1$$X_2$

그러나 교수 가 의 진정한 DGP를 복구하기 위해 만 또는 및 만 포함해야하는지 알 수있는 방법은 없습니다 (이 예제를 사용하면 변수 수를 변경). 아마도 그는 모든 변수에 대한 회귀 분석을 제공 할 것입니다. 변수는 모두 중요한 예측 변수로 표시되기 때문입니다. 원하는 경우이 변수를 20 개의 변수로 확장 할 수 있습니다. 여기에서이 답변 과 여기 에서 Simpson의 역설 기계를 확인 하십시오.$X_1$$X_2$$X_1$$X_2$ $Y$

모든 조건 기대합니다 , 또는 올바르게 지정 조건부 기대,하지만 의 진정한 DGP 반영 . 따라서 교수가 필연적으로 과제를 실패한 후, 그의 목표는 단순히 조건부 기대를 회복하거나 등을 가장 잘 예측하는 것이라고 주장 할 수 있습니다. 자신이 말한 것이 아니라고 주장 할 수 있습니다. :$E[Y|X_1]$$E[Y|X_2]$$E[Y|X_1, X_2]$ $E[Y|X_1]$$Y$$Y$

Y가해야하는 변수 에서 오는 선형 회귀 모델 만족 (...) 한 변수 Y를 만드는 데 사용 (...) 당신의 실제 모델 (...)

또한 인과 관계, 진정한 DGP의 의미 및 일반적으로 식별 가능성에 대한 수업에서 좋은 토론을 이끌어 낼 수 있습니다 .

소득 대 연령과 같은 다중 공선 성 및 이분산성을 가진 변수를 사용하십시오. 선형성 조각은 실제로 더 어려워 지지만 고통 스러울 수 있습니다. 또한, 이상치들은 선구자에게 문제를 증가시킬 것입니다.

상호 작용 용어가 허용됩니까? 그렇다면 모든 하위 차수 계수를 0으로 설정하고 N 차 차수 작용 (예 : 과 같은 항)에서 전체 모형을 작성하십시오 . 20 개의 회귀 분석기에서 가능한 상호 작용의 수는 천문학적으로 많으며 포함 된 것을 찾기가 매우 어려울 것입니다.$X_5X_8X_{12}X_{13}$

선형 모델을 선택하십시오. 그에게 대부분의 표본이 약 x = 0 인 데이터 세트를 제공하십시오. 그에게 x = 1,000,000 정도의 샘플을 몇 개 줘.

여기서 좋은 점은 x = 1,000,000의 샘플이 특이 치가 아니라는 것입니다. 이들은 동일한 소스에서 생성됩니다. 그러나 스케일이 너무 다르기 때문에 1M 정도의 오차는 0 정도의 오차와 맞지 않습니다.

예를 생각해 봅시다. 우리의 모델은

우리는 x = 0 근처에 n 샘플의 데이터 세트를 가지고 있습니다. "충분히"값으로 2 점을 더 선택합니다. 이 두 점에 약간의 오차가 있다고 가정합니다.

"충분히 충분한"값은이 두 점에서 직접 전달되지 않는 추정 오류가 나머지 데이터 세트의 오류보다 훨씬 큰 값입니다.

따라서 선형 회귀는이 두 점을 통과하고 나머지 데이터 집합을 놓치고 밑줄 모형과 다른 계수를 선택합니다.

다음 예를 참조하십시오. {{1, 782}, {2, 3099}, {3, 110}, {4, 1266}, {5, 1381}, {1000000, 1002169}, {1000001, 999688}}

이것은 WolfarmAlpha 시리즈 형식입니다. 각 쌍에서 첫 번째 항목은 x이고 두 번째 항목은 Excel에서 = A2 + NORMINV (RAND (), 0,2000) 수식을 사용하여 생성되었습니다.

따라서 이고 평균 분포는 0이고 표준 편차는 2000 인 정규 분포 랜덤 노이즈를 추가합니다. 이것은 거의 0에 백만에 가까운 작은 잡음입니다.$\beta_0=1, \beta_1=1$

Wolfram Alpha를 사용하면 다음 선형 회귀 을 얻을 수 있습니다. , 의 밑줄 분포와는 상당히 다릅니다.y = $y= 178433. x - 426805$$y=x$