가우스 프로세스 (회귀)에 범용 근사값이 있습니까?

a와 b가 실수 인 [a, b]의 연속 함수가 가우시안 프로세스 (회귀)에 의해 함수 (일부 표준)에 근접하거나 임의로 근접 할 수 있습니까?

gaussian-process approximation

— 마이클 D
소스

더 구체적으로!

— Henry.L

예! 사실, 그것은 공분산 함수에 의존하지만, 그들 중 일부는 그렇게 합니다. Dustin Tran et al. 또한 변형 가우스 프로세스 에 대한 베이지안 프레임 워크에서 보편적 인 근사 정리를 입증했습니다 . 이는 변형 함수로 인해 더 복잡한 모델이지만 매우 밀접한 관련이 있습니다. 질문이 다시 열리면 답변을 드리겠습니다. 추신 : 신경망과 마찬가지로 보편적 근사는 전체가 아닌 소형 세트에만 적용 됩니다.

R^{p}

$\mathbb{R}^p$

— DeltaIV

이 질문에서 "범용 근사치"의 진술은 참조 된 Wikipedia 기사의 진술과 거의 관련이없는 것으로 보입니다. 실제로 프로세스를 사용 하여 함수 를 근사하는 방법은 명확하지 않습니다 . 물어 보려는 내용을 자세히 설명해 주시겠습니까?

— whuber

@whuber 기술은 약간 느슨 할 수 있지만,이 질문은 본질적으로 "입력 기능 , 임의의 임의적으로 가까운 특정 GP의 실현이 있습니까?" 또는 "함수 에서 무한히 많은 샘플 포인트를 관찰 하고 해당 데이터로 표준 GP 추론을 수행 할 때 학습 된 사후 평균 함수 가 어떤 의미에서 실제 함수 접근 합니까?" 이 두 가지는 물론 다른 속성이지만, 대답하기에 충분히 가깝다고 생각합니다.

f

$f$

f

$f$

f

$f$

f

$f$

— Dougal

어쩌면 근사 대신 수렴을 증명하고 싶을 수도 있습니다. 그렇지 않으면 증거는 간단합니다. 평균에 대해 이전과 같이 기능을 수행 할 수 있습니다. 이상은 아니지만 작동합니다.

x = x

$x=x$

— Karel Macek

@Dougal이 지적한 것처럼 질문을 해석하는 두 가지 방법이 있습니다. 비록 그렇게 보이지 않더라도 밀접하게 관련되어 있습니다.

제 해석은 다음하게 컴팩트 서브셋 (소형화가 다음의 모든 근본적인!)하게 가 수 연속 공분산 함수 (또는 커널)에 정의 로하고, 참조 부호 의 연속 함수의 공간 NORMED 최대 규범 장착 . 어떠한 기능의 경우 , 수 미리 지정된 허용 오차에 근사 연결된 RKHS (재생 커널 힐베르트 공간)의 함수 $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ $\epsilon$ $k$ ? RKHS가 무엇인지,이 모든 것이 가우시안 프로세스 회귀와 관련이 있는지 궁금 할 것입니다. RKHS 는 가능한 모든 함수의 가능한 유한 선형 조합으로 형성된 벡터 공간을 닫는 것입니다. 여기서 입니다. 공간 에서 이전에 가우시안 프로세스가 주어지면 폐쇄 가우시안 프로세스 회귀와 매우 밀접하게 관련됩니다. 가우스 프로세스 회귀에 의해 생성 될 수있는 모든 가능한 후방 수단의 공간은 정확히 RKHS입니다. 사실, 가능한 모든 후방 수단은 $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

즉, 함수 유한 선형 조합입니다 . 따라서, 우리는 효과적으로 주어진 경우 가우시안 프로세스 이전 요청하고 에서 임의의 기능에 대해, 거기 는 GPR에 의해 생성 될 수있는 모든 함수의 (폐쇄) 공간에서 항상 함수이며, 원하는만큼 가깝습니다 . $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

일부 특정 커널 (일반 제곱 지수 커널은 포함하지만 다항식 커널은 포함하지 않음)에 대한 대답 은 yes 입니다. 이러한 커널에 대해 입증 할 수 인 고밀도 의 즉, 임의의에 대해, 및 관용 ,가 에서 등 그 . 가정 참고 : 소형이며, 지속적이고 소위 범용 근사 특성을 갖는 연속 커널이다. 여기를 참조 하십시오 $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$ 보다 일반적인 (따라서 복잡한) 맥락에서 완전한 증거를 얻으려면.

이 결과는 첫눈에 보이는 것보다 훨씬 덜 강력합니다. 하더라도 GPR에 의해 생성 될 수있는 후방 수단 공간 (의 폐쇄)에서, 우리는 것을 증명하지되어 있다 특정 후방 트레이닝은 어디 충분히 큰 세트에 대해, GPR에 의해 반환 의미 물론 훈련 세트는 포인트 에서 에 대한 노이즈 관측으로 구성됩니다 . 우리는 심지어 GPR에 의해 반환 된 사후 평균이 대해 전혀 수렴한다는 것을 증명하지 못했습니다 ! 이것은 실제로 @Dougal이 제안한 두 번째 해석입니다. 이 질문에 대한 답변은 첫 번째 질문에 대한 답변에 따라 다릅니다. 함수가없는 경우 $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ 대한 "좋은 근사치"인 RKHS 에서는 물론, 우리는 GPR에 의해 반환 된 사후 평균 이 그것에 합류하기를 희망 할 수 없다. 그러나 다른 질문입니다. 이 질문에 대한 답변을 원하시면 새로운 질문을하십시오. $f$

— 델타 IV
소스