가우스 프로세스 이점

가우시안 프로세스의 이점과 관련된 혼란이 있습니다. 선형 함수가 데이터를 모델링하도록 정의한 간단한 선형 회귀와 비교하는 것을 의미합니다.

그러나 가우시안 프로세스에서 함수 분포를 정의한다는 것은 함수가 선형이어야한다는 것을 구체적으로 정의하지 않음을 의미합니다. 함수가 얼마나 매끄러 워야 하는가와 같은 기능을 정의하는 가우시안 함수 인 함수보다 우선 순위를 정의 할 수 있습니다.

따라서 모델이 무엇인지 명시 적으로 정의 할 필요가 없습니다. 그러나 질문이 있습니다. 우리는 한계 가능성을 가지고 있으며 그것을 사용하여 가우스의 공분산 함수 매개 변수를 조정할 수 있습니다. 따라서 이것은 그렇지 않아야 할 함수 유형을 정의하는 것과 유사합니다.

GP에서는 하이퍼 파라미터 인 경우에도 매개 변수를 정의하는 것과 같은 것으로 요약됩니다. 예를 들어이 논문에서 . 그들은 GP의 평균 기능이 다음과 같다고 정의했습니다.

$$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$$

따라서 모델 / 함수가 정의 된 것은 아닙니다. LR에서와 같이 함수를 선형으로 정의하는 것의 차이점은 무엇입니까?

GP를 사용하는 것의 이점을 얻지 못했습니다.

가우스 프로세스 회귀에 대한 공식을 생각해 봅시다. 샘플 합니다. 이 샘플의 로그 우도는 여기서 은 표본 공분산 행렬입니다. 가 파라미터 대수 근사 극대화하여 우리와 동조 공분산 함수이다. 예측 (후방 평균) 새로운 포인트 형태를 갖는다 : 이 L = − $D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

$$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$$ $K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$$k(\mathbf{x}_i, \mathbf{x}_j)$$\mathbf{x}$ $$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$$ $\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$ 새로운 점과 샘플 점 사이의 공분산 벡터입니다.

가우스 프로세스 회귀는 정확한 선형 모델을 모델링 할 수 있습니다. 공분산 함수의 형식이 합니다. 이 경우 예측의 형식은 다음과 같습니다. 이 단수가 아닌 경우에 동일성은 사실 이지만, 공분산 행렬 정규화를 사용하는 경우에는 문제가되지 않습니다. 따라서 가장 오른쪽은 선형 회귀에 대한 정확한 공식이며, 적절한 공분산 함수를 사용하여 가우스 프로세스로 선형 회귀를 수행 할 수 있습니다.$k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

$$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$$ $(X X^T)^{-1}$

이제 다른 공분산 함수 (예 : 형식의 제곱 지수 공분산 함수)를 사용하여 가우스 프로세스 회귀 분석을 살펴 보겠습니다. , 는 우리가 조정하는 하이퍼 파라미터의 행렬입니다). 분명히이 경우 후방 평균은 선형 함수가 아닙니다 (이미지 참조).$\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$$A$

.

따라서, 적절한 공분산 함수를 사용하여 비선형 함수를 모델링 할 수 있다는 이점이 있습니다 (대부분의 경우 제곱 지수 공분산 함수는 다소 좋은 선택입니다). 비선형 성의 원인은 언급 한 추세 구성 요소가 아니라 공분산 함수입니다.

저에게 가우시안 프로세스 의 가장 큰 장점은 모델의 불확실성을 모델링하는 고유 한 기능입니다. 함수의 기대 값과 해당 분산 주어진 나는 방법 (일반 메트릭 정의 할 수 있기 때문에 매우 유용합니다 Aquisition 기능 저 예를 들어 포인트가 무엇을 말할 수) 것을, 내 기본 기능 평가해야 , 그 의지를 의 최고 (예상치) 값이 됩니다. 이것은 베이지안 최적화 의 기초를 형성합니다 .$x$$f$$f(x)$

당신은 아마 탐험 대 착취 트레이드 오프를 알고있을 것입니다 . 우리는 함수 의 을 찾고자합니다 (이는 종종 평가하기에 비용이 많이 듭니다). 따라서 를 평가하기 위해 어떤 를 선택 하는지에 대해 소심해야합니다 . 함수의 가치가 높은 지점 (탐사)이나 함수의 가치 (탐사)에 대해 잘 모르는 지점 근처를 살펴볼 수 있습니다. 가우시안 프로세스 는 다음 평가에 관한 결정을 내리는 데 필요한 정보를 제공합니다 : 평균값 및 공분산 행렬 (불확실성). 예를 들어 값 비싼 블랙 박스 기능을 최적화 할 수 있습니다.$max$$f$$x$$f$μ Σ$\mu$$\Sigma$