증분 가우스 프로세스 회귀

스트림을 통해 하나씩 도착하는 데이터 포인트 위에 슬라이딩 창을 사용하여 증분 가우시안 프로세스 회귀를 구현하고 싶습니다.

하자 입력 공간의 차원을 나타낸다. 따라서, 모든 데이터는 지적 갖는 원소의 수.$d$$x_i$$d$

슬라이딩 윈도우의 크기를 이라고하자 .$n$

예측을하기 위해 그램 행렬 의 역수를 계산해야합니다 . 여기서 이고 k는 제곱 지수 커널입니다.$K$$K_{ij} = k(x_i, x_j)$

새로운 데이터 포인트마다 K가 커지는 것을 피하기 위해 새로운 포인트를 추가하기 전에 가장 오래된 데이터 포인트를 제거 할 수 있다고 생각했습니다. 예를 들어, 보자. 여기서 는 가중치의 공분산이고 는 제곱 지수 커널에 의해 내재 된 암시 적 매핑 함수입니다.$K = \phi(X)^{T}\Sigma\phi(X)$$\Sigma$$\phi$

이제 ] 및 여기서, '(S)가된다 로 열의 매트릭스.$X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$$X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$$x$$d$$1$

잠재적으로 사용하여 을 찾는 효과적인 방법이 필요합니다 . 이것은 Sherman-Morrison 공식을 효율적으로 처리 할 수있는 등급 1 업데이트 매트릭스 문제의 역으로 ​​보이지 않습니다.$K_{new}^{-1}$$K$

이를 위해 몇 가지 재귀 알고리즘이 있습니다. KRLS (커널 재귀 최소 제곱) 알고리즘 및 관련 온라인 GP 알고리즘을 살펴보십시오.

• Van Vaerenbergh, S., Santamaria, I., Liu, W. 및 Principe, JC (2010). 고정 예산 커널 재귀 최소 제곱 . 음향 음성 및 신호 처리 (ICASSP), 2010 IEEE 국제 회의 페이지 1882-1885에서. IEEE.
• Lazaro-Gredilla, M., Van Vaerenbergh, S. 및 Santamaria, I. (2011). 커널 재귀 최소 제곱으로 추적하는 베이지안 접근 방식 . 신호 처리를위한 기계 학습 (MLSP), 2011 년 IEEE 국제 워크숍, 1-6 페이지. IEEE.
• Perez-Cruz, F., Van Vaerenbergh, S., Murillo-Fuentes, JJ, Lazaro-Gredilla, M. 및 Santamaria, I. (2013). 비선형 신호 처리를위한 가우시안 프로세스 : 최근 발전 개요 . IEEE 신호 처리 매거진, 30 (4) : 40-50.

GP 모델의 단계적 추정은 문헌에서 잘 연구되어있다. 기본 아이디어는 예측하고자하는 모든 새로운 관측 값을 조정하는 것이 아니라 한 걸음 앞서 나가는 조건을 반복적으로 수행하는 것입니다. 이것은 어떻게 든 칼만 필터링에 가깝습니다.