함수에 대한 분포는 무엇입니까?

15

CE Rasmussen과 CKI Williams의 기계 학습 을 위한 가우시안 프로세스 교과서를 읽고 있는데, 함수 분포 가 무엇을 의미 하는지 이해하는 데 어려움이 있습니다. 교과서에는 함수가 매우 긴 벡터 (사실, 무한히 길어야 하는가)로 상상해야한다는 예가 제시되어 있습니다. 함수에 대한 분포는 이러한 벡터 값의 "위"에 그려진 확률 분포라고 생각합니다. 그러면 함수가이 특정 값을 취할 확률일까요? 아니면 함수가 주어진 범위에있는 값을 가질 가능성이 있습니까? 아니면 함수에 대한 분포가 전체 함수에 할당 된 확률입니까?

교과서에서 인용 :

1 장 : 소개, 2 페이지

가우시안 프로세스는 가우시안 확률 분포의 일반화입니다. 확률 분포는 스칼라 또는 벡터 (다변량 분포의 경우) 인 랜덤 변수를 설명하지만 확률 적 프로세스는 함수의 속성을 제어합니다. 수학적 정교함을 제쳐두고, 함수를 매우 긴 벡터로 느슨하게 생각할 수 있습니다. 벡터의 각 항목은 특정 입력 x에서 함수 값 f (x)를 지정합니다. 이 아이디어는 다소 순진하지만, 우리가 필요로하는 것에 놀라 울 정도로 가깝다는 것이 밝혀졌습니다. 실제로, 우리가 이러한 무한 치수 객체를 계산하는 방법에 대한 질문은 상상할 수있는 가장 즐거운 해상도를 가지고 있습니다. 유한 한 수의 포인트에서 함수의 속성 만 요구한다면,

2 장 : 회귀, 7 페이지

GP (가우시안 프로세스) 회귀 모델을 해석하는 방법에는 여러 가지가 있습니다. 가우시안 프로세스는 함수에 대한 분포 를 정의하고 함수 의 공간, 함수 공간 뷰에서 직접 발생하는 추론을 생각할 수 있습니다.

초기 질문에서 :

나는 이것을 개념적으로 보여주기 위해이 개념적 그림을 만들었습니다. 내가 직접 설명한 내용이 정확한지 잘 모르겠습니다.

업데이트 후 :

Gijs 의 답변 후 그림을 개념적으로 다음과 같이 업데이트했습니다.

distributions gaussian-process

— camillejr
소스

3

직관적 인 설명이 확인 jgoertler.com/visual-exploration-gaussian-processes

— bicepjai

11

이 개념은 일반적인 배포판보다 약간 더 추상적입니다. 문제는 우리가 일반적으로 선으로 표시된 $\mathbb{R}$ 에 대한 분포 개념에 익숙한 다음 표면 $\mathbb{R}^2$ 로 확장하고 $\mathbb{R}^n$ 에 대한 분포 로 확장한다는 것 입니다. 그러나 함수의 공간은 사각형이나 선 또는 벡터로 표현할 수 없습니다. 당신처럼 그렇게 생각하는 것은 범죄가 아니지만 $\mathbb{R}^n$ 에서 작동 하는 거리, 이웃 및 이와 관련이 있는 이론 (이것은 공간의 토폴로지라고 알려져 있음)은 동일하지 않습니다. 기능의 공간. 따라서 사각형으로 그리는 것은 그 공간에 대한 잘못된 직감을 줄 수 있습니다.

함수의 공간을 함수의 큰 모음으로 생각할 수 있습니다. 여기에 분포는 그러한 것들의 부분 집합을 그릴 확률을 제공합니다. 분포는 다음과 같습니다 (함수의 다음 추첨이이 부분 집합에있을 확률은 예를 들어 10 %입니다). 2 차원 함수에 대한 가우시안 프로세스의 경우,- x좌표와y-값, 이것은 작은 수직선 세그먼트입니다. (랜덤) 함수가이 작은 선을 통과 할 확률은 얼마입니까? 그것은 긍정적 인 확률이 될 것입니다. 따라서 가우시안 프로세스는 함수 공간에 대한 분포 (확률)를 지정합니다. 이 예제에서 함수 공간의 하위 집합은 선 세그먼트를 통과하는 하위 집합입니다.

$\mathbb{R}$

— 기스
소스

1

고맙게도, 이것은 하나의 함수 값에 대한 분포가 아니라 함수 모음에 대한 분포입니다. 내가 한 가지 더 질문 : 당신은 이것이 임의의 함수가 특정 간격을 통과 할 확률이라고 말했다, 그래서 GPR의 예에서, 그것은 임의의 함수 일 것입니다. 공분산 커널?

— camillejr 10

2

그렇습니다. 함수 모음에 대한 배포입니다. 가우스 프로세스가있는 경우 간격을 통과하는 예가 적용됩니다. 공분산 커널은 실제로 가우스 프로세스를 지정합니다. 공분산 커널을 알고 있다면 임의의 함수가 특정 구간을 통과 할 확률을 계산할 수 있습니다.

— Gijs

@Gijs 당신은 이것을 볼 수 있을까요 , 공분산 매트릭스에 대한 직관을 찾고 있습니다.

— GENIVI-LEARNER

14

Mathematics SE 사이트에서 귀하의 질문이 이미 아름답게 대답되었습니다.

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

무한 차원 공간 , 선형 함수, 푸시 포워드 측정 등에 대한 가우시안 측정 의 개념에 익숙하지 않은 것 같습니다 . 가능한 한 간단하게 유지하려고 노력할 것입니다.

$L^2([0,1])$ $I=[0,1]$ $\mathbb{R}$ $\mathbb{R}^n$ $L^2$

그러나 Kolmogorov 확장 정리를 기반으로 한 간단한 "트릭"도 있습니다. 기본적으로 확률 론적 과정이 과도하게 측정 이론이 아닌 확률 과정에서 확률 론적 프로세스가 도입되는 방식입니다. 이제 나는 매우 손 이 많이 들고 엄격하지 않으며 가우시안 프로세스의 경우로 제한됩니다. 보다 일반적인 정의를 원하면 위의 답변을 읽거나 Wikipedia 링크를 찾을 수 있습니다. 특정 사용 사례에 적용되는 Kolmogorov 확장 정리에는 다음과 같은 내용이 있습니다.

$S_n=\{ t_1, \dots ,t_n\} \subset I$ $\mathbf{x}_n=(x(t_1),\dots,x(t_n))$
$S_n, S_m, \enspace S_n\subset S_m$ , 해당 확률 분포 함수 $f_{S_n}(x_1,\dots,x_n)$ $f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)$ $f_{S_m}$ $S_m$ $S_n$ $f_{S_n}$

\int_{R^{n - m + 1}} f_{S_{m}} (x_{1}, \dots, x_{n}, x_{n + 1}, \dots, x_{m}) d x_{n + 1} \dots d x_{m} = f_{S_{n}} (x_{1}, \dots, x_{n})

$\int_{\mathbb{R}^{n-m+1}}f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)\text{d}x_{n+1}\dots \text{d}x_m=f_{S_n}(x_1,\dots,x_n)$

$X$ $L^2$ $S_n$ $n$

실제 정리는 더 일반적이지만, 이것이 당신이 찾고있는 것 같아요.

— 델타 IV
소스