RBF 커널 매트릭스의 상태가 좋지 않은가요?

RBF 커널 함수를 사용하여 하나의 커널 기반 기계 학습 알고리즘 (KLPP), 결과 커널 매트릭스를 구현합니다. $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$ L2-norm의 조건 수는

10^{17} - 10^{64}

$10^{17}-10^{64}$

잘 조절할 수있는 방법이 있습니까? 나는 매개 변수를 추측 $\sigma$ 조정해야하지만 얼마나 정확한지 모르겠습니다.

감사!

— 제 유허
소스

글쎄, 당신이 만드는 경우

σ_{m}

$\sigma_m$ 작을수록 조건 번호가 향상됩니다.

— user189035

답변:

커널 너비 줄이기 $\sigma_m$ 일반적으로 조건 수를 줄입니다.

그러나 기본 함수가 겹치면 커널 함수는 기본 함수 또는 점 분포에 대해 단수 또는 단수에 가깝게 될 수 있습니다. 그 이유는 실제로 매우 간단합니다.

커널 매트릭스 $K$ 결정자가 특이 할 때 $\det(K)$ 0입니다.
보간에서 두 개의 점 및 것은 시험 점이 일정하게 유지된다고 가정 할 때 에서 두 개의 행을 교환하는 것과 같습니다 . $x_i$ $x_j$ $K$
행렬에 두 개의 행을 바꾸면 행렬식의 부호가 바뀝니다.

이제 두 점 와 골라 천천히 회전시켜 위치를 전환 한다고 상상해보십시오 . 이 작업을 수행하는 동안 의 결정 요인은 부호를 전환하여 중간 지점에서 0이됩니다. 이 시점에서 는 정의상 단수입니다. $x_i$ $x_j$ $K$ $K$

— 페드로
소스

K 행렬이 대칭이 아님-두 점을 바꾸면 행과 열이 바뀝니 까?

— 52 분

@Denis 노드와 평가판이 동일하고 둘 다 이동하는 경우에만 해당됩니다. 이것이 두 번째 글 머리표에서 "시험 포인트가 일정하다고 가정"하는 이유입니다.

— Pedro

가우스의 커널 행렬 (OP의 질문)은 어쨌든 양의 반 정밀도입니까?

— 데니스

@Denis : 다시, 이것은 RBF 보간 문제를 어떻게 정의하는지에 대한 질문입니다. 점 , 중심으로 RBF 가 있고 점 , 에서 보간을 최소화하려는 가장 일반적인 경우를 고려하십시오 . 포스터 예제에서는 및 가정합니다 . 처음에 과 를 설정 한 다음 움직이면 단수 생성 할 수 있습니다 .

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

— Pedro

몇 가지 제안 :

평균 거리를 선택하십시오 | 랜덤 가장 가까운 . (위한 저렴한 근사 지점이 균일에서 부 큐브 분산 , 0.5 / .) 우리가 원하는 근처의 에 대해서는 크며 , 배경 소음에 대해서는 작아야합니다. 몇 개의 임의의 대해 플롯하십시오 . $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
를 0, , 에서 멀리 이동하십시오 . 즉, 정규화하십시오. $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
풀기 의 가중치를보십시오 . 일부가 여전히 크면 (조건 번호에 관계없이) 가우시안 RBF가 근본적으로 약하다는 보이드 (아래)를 확인하는 경향이 있습니다. $(K + \lambda I) w = f$

(RBF의 대안은 IDW의 역 거리 가중치입니다. 자동 스케일링의 장점이 있습니다. 가장 가까운 거리에 대해 1 2 3 에서 100 200 300 또한 명시적인 사용자 선택을 찾을 수 있습니다. 그리드 검색보다 명확하게 고려해야 할 주변 이웃들 ) $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

존 P. 보이드 고속 가우스 무익 가우시안 방사형 기저 함수 시리즈 합산 변형을 말한다

가우시안 RBF 보간법은 보간법이 지수 적으로 큰 계수를 갖는 항의 작은 차이라는 점에서 대부분의 시리즈에 대해 조건이 좋지 않습니다.

도움이 되었기를 바랍니다; 당신의 경험을 공유하십시오.

— 거부
소스