배경과 문제

회귀 및 후속 베이지안 최적화 (BO)에 가우시안 프로세스 (GP)를 사용하고 있습니다. 회귀를 위해 MATLAB 용 gpml 패키지를 여러 가지 맞춤형 수정과 함께 사용 하지만 문제는 일반적입니다.

입력 공간에서 두 개의 훈련 입력이 너무 가까울 때 공분산 행렬이 확실하지 않을 수 있습니다 (이 사이트에는 이에 대한 몇 가지 질문이 있음). 결과적으로 다양한 GP 계산에 필요한 공분산 행렬의 hole 레 스키 분해가 수치 오류로 인해 실패 할 수 있습니다. 이것은 내가 사용하는 목적 기능으로 BO를 수행 할 때 여러 경우에 발생했으며 문제를 해결하고 싶습니다.

제안 된 솔루션

불량 조건을 완화하는 표준 솔루션 인 AFAIK는 공분산 행렬의 대각선에 융기 또는 너깃을 추가하는 것입니다. GP 회귀 분석의 경우 이는 관측 노이즈를 추가하거나 이미있는 경우 증가시킵니다.

여태까지는 그런대로 잘됐다. 나는 정확한 추론에 대한 코드를 수정 gpml 촐레 스키 분해가 실패 할 때마다, 나는 영감의 Frobenius의 규범에 가까운 대칭 긍정적 인 확실한 (SPD) 매트릭스에 공분산 행렬을 해결하기 위해 시도 할 수 있도록 이 MATLAB 코드 존 디부 에리코로. 이론적 근거는 원본 매트릭스에 대한 개입을 최소화하는 것입니다.

이 해결 방법이 효과가 있지만 알고리즘이 일부 영역에서 확대해야 할 때마다 (예 : 최소값에 가까워 지거나 길이 스케일 때문에) BO의 성능이 일부 기능의 경우 실질적으로 감소 함을 알았습니다. 문제의 불균일하게 작아짐). 두 개의 입력 포인트가 너무 가까워 질 때마다 노이즈를 효과적으로 증가시키기 때문에이 동작은 의미가 있지만 물론 이상적이지는 않습니다. 또한, 난 그냥 문제 점을 제거 할 수 있습니다, 그러나 다시, 가끔은 필요 가까이하기 위해 입력 점을.

질문

GP의 공분산 행렬의 Cholesky 인수 분해와 관련된 수치 문제는 새로운 문제라고 생각하지 않지만 놀랍게도 노이즈를 늘리거나 서로 너무 가까운 점을 제거하는 것 외에는 지금까지 많은 솔루션을 찾을 수 없었습니다. 다른 한편으로, 내 기능 중 일부가 잘못 작동하는 것이 사실이므로 내 상황이 그렇게 일반적이지 않을 수 있습니다.

여기에 도움이 될만한 제안 / 참조가 있습니까?

다른 옵션은 근본적으로 원인을 평균화하는 것입니다. 예를 들어 1000 개의 점과 50 개의 원인 문제가있는 경우 처음 950 개의 고유 값 / 벡터를 사용하여 최적의 낮은 순위 근사값을 얻을 수 있습니다. 그러나 이것은 그렇지 않다고 말한 데이터 포인트를 서로 가깝게 제거하는 것이 아닙니다. 지터를 추가하면 자유도가 감소합니다. 즉, 각 점이 예측에 미치는 영향이 적으므로 점을 적게 사용하는 것보다 나쁠 수 있습니다.

개인적으로 깔끔하다고 생각되는 다른 옵션은 두 가지 점을 조금 더 똑똑하게 결합하는 것입니다. 예를 들어 2 개의 점을 가져 와서 하나로 결합 할 수 있지만 그래디언트의 근사도 결정하는 데 사용할 수도 있습니다. 커널에서 필요한 그래디언트 정보를 포함하려면 및 를 찾는 입니다. 파생 상품은 일반적으로 관측치와 상관 관계가 없으므로 컨디셔닝 문제가 발생하지 않고 지역 정보를 유지하지 않습니다.$dxk(x,x')$$dxdx'k(x,x')$

편집하다:

의견을 바탕으로 파생 된 관측을 포함하여 의미하는 바를 구체화 할 것이라고 생각했습니다. 가우스 커널을 사용하는 경우 (예 :)

$k_{x,x'} = k(x, x') = \sigma\exp(-\frac{(x-x')^2}{l^2})$

그 파생 상품은

$k_{dx,x'} =\frac{dk(x, x')}{dx} = - \frac{2(x-x')}{l^2} \sigma\exp(-\frac{(x-x')^2}{l^2})$

$k_{dx,dx'} =\frac{d^2k(x, x')}{dxdx'} = 2 \frac{l^2 - 2(x-x')}{l^4} \sigma\exp(-\frac{(x-x')^2}{l^2})$

이제 데이터 포인트가 있다고 가정하자. 및 의 미분은 이라고 부릅니다 .$\{x_i, y_i ; i = 1,...,n \}$$x_1$$m_1$

하자 , 다음, 우리가 공분산 행렬과 하나의 표준 GP를 사용$Y = [m_1, y_1, \dots, y_n]$

$K = \left( \begin{array}{cccc} k_{dx_0,dx_0} & k_{dx_0,x_0} & \dots & k_{dx_0,x_n} \\ k_{dx_0,x_0} & k_{x_0,x_0} & \dots & k_{x_0,x_n} \\ \vdots & \vdots & \ddots & \vdots \\ k_{dx_0,x_n} & k_{x_0,x_n} & \dots & k_{x_n,x_n} \end{array} \right)$

GP의 나머지 부분은 평소와 동일합니다.

우리가 사무실에서 시작한 한 가지 해결책은 번거로운 점을 변경하는 것입니다. 이는 일직선 삭제 또는보다 복잡한 형태 일 수 있습니다. 본질적으로, 근접 점은 중복성이 높다는 사실이 관찰됩니다. 실제로 중복되어 공분산 행렬의 순위가 줄어 듭니다. 같은 점에서, 한 지점은 어쨌든 현재 문제에 거의 정보를 제공하지 못하므로, 하나 또는 다른 것을 제거 (또는 평균화하거나 한 지점에서 다른 지점에서 "허용되는 최소한의 거리로"수신 "하는 것과 같은) 다른 일을하는 것입니다. 실제로 솔루션을 많이 변경하지는 않습니다.

두 지점이 "너무 가까워진"시점을 판단하는 방법을 잘 모르겠습니다. 아마도 이것은 사용자에게 남겨진 튜닝 옵션 일 수 있습니다.

(이 게시물을 게시 한 후이 답변을 훨씬 더 정교한 솔루션으로 발전시키는 귀하의 질문을 찾았습니다 . 내 답변에서 링크를 통해 SEO를 도울 수 있기를 바랍니다.)