Kalman 필터를 사용하여 시계열의 결 측값 대치

12

Kalman Filters를 사용하여 시계열 데이터에서 결 측값을 대치하는 방법에 관심이 있습니다. 일부 연속 시점이 누락 된 경우에도 적용 가능합니까? 나는이 주제에서 많은 것을 찾을 수 없다. 모든 설명, 의견 및 링크를 환영합니다.

data-imputation kalman-filter

— GS9
소스

이 게시물에 관심 이 있을 수 있습니다 . Kalman 필터를 통해 결 측값을 대치하기 위해 ARIMA 모델의 상태 공간 표현을 기반으로 한 예를 제공합니다.

— javlacalle

@ javlacalle 감사합니다, 나는 이미이 게시물을 알고 있으며 구체적인 구현을위한 훌륭한 예입니다. 그러나 나는 오히려 이론적 배경에 관심이 있습니다.

— GS9

9

예비 : 칼만 필터링 :

칼만 필터는 다음과 같은 형식의 상태 공간 모델에서 작동합니다 (작성 방법은 여러 가지가 있습니다. Durbin 및 Koopman (2012)을 기반으로하는 쉬운 방법입니다. 다음은 모두이 책을 기반으로합니다).

\begin{aligned} y_{t} & = Z α_{t} + ε_{t} & ε_{t} \sim N (0, H) \\ α_{t_{1}} & = T α_{t} + η_{t} & η_{t} \sim N (0, Q) \\ α_{1} & \sim N (a_{1}, P_{1}) \end{aligned}

$\begin{align} y_t & = Z \alpha_t + \varepsilon_t \qquad & \varepsilon_t \sim N(0, H) \\ \alpha_{t_1} & = T \alpha_t + \eta_t & \eta_t \sim N(0, Q) \\ \alpha_1 & \sim N(a_1, P_1) \end{align}$

여기서 는 관측 된 계열이지만 누락 된 값이있을 수 있지만 는 완전히 관찰되지 않습니다. 첫 번째 방정식 ( "측정"방정식)은 관찰 된 데이터가 특정 방식으로 관찰되지 않은 상태와 관련이 있다고 말합니다. 두 번째 방정식 ( "전환"방정식)은 관찰되지 않은 상태가 특정 방식으로 시간이 지남에 따라 진화한다고 말합니다. $y_t$ $\alpha_t$

Kalman 필터는 최적의 추정값을 찾기 위해 작동합니다 ( 는 Normal : 이므로 Kalman 필터가 실제로하는 것은 분포의 조건부 평균과 분산을 계산하는 것입니다 시간 에 대한 관측치에 대한 조건부 ). $\alpha_t$ $\alpha_t$ $\alpha_t \sim N(a_t, P_t)$ $\alpha_t$ $t$

일반적인 경우 (관측 가능할 때)에서, 칼만 필터는 현재 상태의 추정치 및 현재 관측 사용 다음 상태를 추정 할 수있는 최선 할 과 같은 다음 : $y_t$ $\alpha_{t+1}$

\begin{aligned} a_{t + 1} & = T a_{t} + K_{t} (y_{t} - Z α_{t}) \\ P_{t + 1} & = T P_{t} (T - K_{t} Z)^{'} + Q \end{aligned}

$\begin{align} a_{t+1} & = T a_t + K_t (y_t - Z \alpha_t) \\ P_{t+1} & = T P_t (T - K_t Z)' + Q \end{align}$

여기서 는 "칼만 이득"입니다. $K_t$

관측치가없는 경우 Kalman 필터는 여전히 최상의 방법으로 및 을 계산하려고합니다 . 이후 사용할 수 없습니다, 그것은 측정 방정식을 사용하지 수 있지만, 여전히 전환 방정식을 사용할 수 있습니다 . 따라서 가 없으면 Kalman 필터는 대신 다음을 계산합니다. $a_{t+1}$ $P_{t+1}$ $y_t$ $y_t$

\begin{aligned} a_{t + 1} & = T a_{t} \\ P_{t + 1} & = T P_{t} T^{'} + Q \end{aligned}

$\begin{align} a_{t+1} & = T a_t \\ P_{t+1} & = T P_t T' + Q \end{align}$

본질적으로 가 주어지면 데이터가없는 최선의 추측 은 전환 방정식에 지정된 진화 일뿐입니다. 누락 된 데이터가있는 여러 기간 동안이 작업을 수행 할 수 있습니다. $\alpha_t$ $\alpha_{t+1}$

데이터 가있는 경우 , 첫 번째 필터링 방정식 세트는 데이터없이 최상의 추측을 취하고 이전 추정치의 수준에 따라 "정정"을 추가합니다. $y_t$

대치 데이터 :

Kalman 필터가 전체 시간 범위에 적용되면 에 대한 상태 의 최적 추정치를 됩니다 . 측정 방정식을 통해 데이터 대치가 간단 해집니다. 특히, 당신은 단지 계산 : $a_t, P_t$ $t = 1, 2, \dots, T$

{\hat{y}}_{t} = Z a_{t}

$\hat y_t = Z a_t$

참고로 Durbin and Koopman (2012)은 훌륭합니다. 섹션 4.10에서는 누락 된 관측치에 대해 설명합니다.

S. Durbin, J. & SJ (2012). 상태 공간 방법에 의한 시계열 분석 (No. 38). 옥스포드 대학 출판부.

— cfulton
소스

더 부드러운 솔루션을 사용하면 대치하는 것이 더 의미가있을 것입니다 (이미 존재하는 모든 데이터가 있기 때문에 미래의 값에도 정보를 사용하지 않는 이유)

— Juho Kokkala

0

javlacalle 이 댓글에서 가리키는 게시 의 예는 연속 누락 된 시점을 특징으로합니다. 또한이 State Space 논문 에 섹션 2.1에 나와 있는 계산 된 대치 된 (견본 내) 값 주위의 간격에 관심이있을 수도 있습니다 .

흥미로운 또 다른 논문은 이것 입니다.

— 웨인
소스