가우스 프로세스에서 관측치 병합

회귀에 가우시안 프로세스 (GP)를 사용하고 있습니다.

내 문제에서 두 개 이상의 데이터 포인트 가 상대적으로 길이에 상대적으로 가깝습니다. 문제의 규모. 또한 관측에 소음이 심할 수 있습니다. 계산 속도를 높이고 측정 정확도를 높이려면 더 큰 길이의 예측에 관심이있는 한 서로 가까운 지점의 클러스터를 병합 / 통합하는 것이 자연스러워 보입니다.$\vec{x}^{(1)},\vec{x}^{(2)},\ldots$

나는 이것을 수행하는 빠르고 반 원리적인 방법이 무엇인지 궁금합니다.

두 개의 데이터 포인트가 완전히 겹치면 이고 관측 노이즈 (즉, 가능성)는 가우시안 (Gaussian) 일 수 있습니다 . 자연스러운 진행 방법은 다음과 같은 단일 데이터 포인트로 병합하는 것 같습니다.$\vec{x}^{(1)} = \vec{x}^{(2)}$

• $\vec{\bar{x}} \equiv \vec{x}^{(k)}$ 에 대해 .$k=1,2$

• 관측 값 , 관측 값의 평균 의 상대 정밀도로 가중치 부여 : .$\bar{y}$$y^{(1)}, y^{(2)}$$\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)}$

• 관측치와 관련된 잡음 : .$\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})}$

그러나 가까이 있지만 겹치지 않는 두 점을 어떻게 병합해야 합니까?

• 는 여전히 두 위치 의 가중 평균 이어야 한다고 생각합니다 . 다시 상대적인 신뢰도를 사용하십시오. 이론적 근거는 질량 중심 논쟁이다 (즉, 매우 정밀한 관측을 덜 정밀한 관측의 스택으로 생각한다).$\vec{\bar{x}}$

• 용 위와 같은 식.$\bar{y}$

• 관측과 관련된 노이즈의 경우 위의 수식 외에도 데이터 포인트를 이동하기 때문에 노이즈에 교정 항을 추가해야하는지 궁금합니다. 본질적으로 및 (각각 공분산 함수의 신호 분산 및 길이 스케일)와 관련된 불확실성이 증가 합니다. 이 용어의 형태는 확실하지 않지만 공분산 함수를 사용하여 계산하는 방법에 대한 임시 아이디어가 있습니다.$\sigma_f^2$$\ell^2$

계속 진행하기 전에 이미 무언가가 있는지 궁금했습니다. 그리고 이것이 합리적인 진행 방법으로 보이거나 더 빠른 방법 이 있다면 .

내가 문헌에서 찾을 수있는 가장 가까운 것은이 논문입니다 : E. Snelson와 Z. Ghahramani은 의사 입력을 사용하여 스파 스 가우시안 프로세스는 , '05 일본군; 그러나 그 방법은 (상대적으로) 관련되어 있으며 의사 입력을 찾기 위해 최적화가 필요합니다.

좋은 질문과 당신이 제안하는 것이 합리적으로 들립니다. 그러나 개인적으로 효율적으로 진행하기 위해 다르게 진행할 것입니다. 당신이 말했듯이 두 점이 가까이 있으면 추가 정보가 거의 없으므로 모델의 유효 자유도는 관측 된 데이터 점의 수보다 적습니다. 이러한 경우는 (알 수있는 성긴 근사치 장 GPML 잘 설명하여 가치 Nystroms 방법 일 수있다 http://www.gaussianprocess.org/gpml/ ). 이 방법은 구현이 매우 쉽고 최근 Rudi et al에 의해 매우 정확한 것으로 입증되었습니다. ( http://arxiv.org/abs/1507.04717 )

또한 Gaussian Process 회귀 분석을 수행 할 때 병합 관찰을 조사하고 있습니다. 내 문제에는 공변량이 하나뿐입니다.

Nystrom 근사법이 바람직하다는 데 반드시 동의합니다. 특히, 병합 된 데이터 세트를 기반으로 충분한 근사가 발견되면 Nystrom 근사를 사용할 때보 다 계산이 더 빠를 수 있습니다.

아래는 1000 개의 데이터 점과 사후 GP 평균, 병합 된 레코드가있는 사후 GP 평균 및 Nystrom 근사를 사용한 사후 GP 평균을 보여주는 일부 그래프입니다. 정렬 된 공변량의 동일한 크기의 버킷을 기준으로 레코드가 그룹화되었습니다. 근사 순서는 레코드를 병합 할 때 그룹 수와 Nystrom 근사 순서와 관련이 있습니다. 병합 방법과 Nystrom 근사는 근사 순서가 포인트 수와 같을 때 표준 GP 회귀와 동일한 결과를 생성합니다.

이 경우 근사 순서가 10 인 경우 병합 방식이 바람직합니다. 차수가 20 인 경우, Nystrom 근사값의 평균은 정확한 GP 사후 평균과 시각적으로 구분할 수 없지만, 병합 결과를 기반으로 한 평균은 충분할 것입니다. 순서가 5이면 둘 다 매우 열악합니다.