기계 학습 문제를 회귀 프레임 워크로 변환

I은 설명 변수의 패널을 가정 들어 난 = 1 . . . N , t = 1 입니다. . . T 뿐만 아니라 이진 결과 의존 변수 Y i T 의 벡터 . 따라서 Y 는 최종 시간 T 에서만 관찰되며 이전 시간 에는 관찰 되지 않습니다. 완전히 일반적인 경우 다수 가지고있다 X I J t 용 J = 1 ... K 각각의 단위 I을 각각의 시간에서 $X_{it}$$i = 1 ... N$$t = 1 ... T$$Y_{iT}$$Y$$T$$X_{ijt}$$j=1...K$$i$$t$간결성을 위해 케이스 에 초점을 맞추겠습니다 .$K=1$

시간 상관 상관 설명 변수와 같은 "불균형" 쌍의 적용은 (일일 주가, 분기 배당), (일일 날씨 보고서, 연간 허리케인) 또는 (각 움직임 후의 체위 포지션 특징, 승 / 패 결과) 게임의 끝).$(X, Y)$

I는 (아마도 비선형)에 관심이 회귀 계수 수행하는 예측 의 Y의 난의 t을 훈련 데이터의 초기 관찰 주어진 것을 알고, X를 전 t 에 t < T , 그것은 최종 결과에 이르게 Y I $\beta_t$$Y_{it}$$X_{it}$$t < T$$Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

계량 경제학 배경에서 비롯된 회귀 모델링은 이러한 데이터에 적용되는 것을 보지 못했습니다. OTOH, 나는 다음과 같은 머신 러닝 기술이 그러한 데이터에 적용되는 것을 보았습니다.

1. 전체 데이터 세트에 대한 지도 학습 수행 ( 예 : 최소화)

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

단순히으로 전가 / 외삽 관찰 시간에 이전의 모든 포인트$Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

이것은 서로 다른 시점 사이의 시간적 상관 관계를 고려하지 않기 때문에 "잘못된"느낌입니다.

2. 학습 매개 변수 α 및 할인 매개 변수 λ를 사용한 시간차와 같은 강화 학습을 수행하고 t = T 에서 시작하는 역 전파를 통해 β t 를 재귀 적으로 해결$\alpha$$\lambda$$\beta_t$$t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

함께 의 기울기 F ( ) 에 대하여 β .$\nabla_{\beta} \hat{Y}$$f()$$\beta$

이것은 시간 구조를 고려하기 때문에 "정확한"것처럼 보이지만 매개 변수 와 λ 는 일종의 "ad hoc"입니다.$\alpha$$\lambda$

질문 : 위의 감독 / 강화 학습 기술을 고전 통계 / 계량 학에서 사용되는 회귀 프레임 워크에 매핑하는 방법에 대한 문헌이 있습니까? 특히, 나는 모델에 대해 (비선형) 최소 제곱 또는 최대 우도를 수행 하여 "한 번에"(즉, 모든 t = 1 ... T에 대해 동시에) 매개 변수 를 추정 할 수 있기를 원합니다 . 같이$\beta_{t}$$t=1...T$

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

또한 시간차 학습 메타-파라미터 및 λ 가 최대 우도 공식에서 회복 될 수 있는지 여부에 관심 이 있습니다.$\alpha$$\lambda$

문제에 대한 설명이 나에게 명확하지 않으므로 몇 가지 가정을 추측하려고합니다. 이것이 귀하의 질문에 대한 답변이 아닌 경우, 적어도 문제를 더 명확히하는 데 도움이 될 수 있습니다.

$Y_T$$t<T$$X_\tau$$\tau>t$

$Y_t$$X_1,\ldots, X_t$$t<T$$Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$$Y_T$

$X_1, \ldots, X_t$$t$

$t<T$

$\alpha$
$\gamma$$\gamma=1$