Numpy에서 효과적으로 가우스 커널을 계산하는 방법 [닫기]

m 개의 열과 n 개의 행 이있는 numpy 배열이 있으며 열은 차원과 행 데이터 포인트입니다.

이제 각 데이터 포인트 조합에 대한 커널 값을 계산해야합니다.

선형 커널 $K(\mathbf{x}_i,\mathbf{x}_j) = \langle \mathbf{x}_i,\mathbf{x}_j \rangle$ I 간단히 할 수dot(X,X.T)

$K(\mathbf{x}_i,\mathbf{x}_j) = \exp{-\frac{\|\mathbf{x}_i-\mathbf{x}_j\|_2^2}{s^2}}$

주요 문제는 쌍 거리를 효율적으로 얻는 것입니다. 일단 당신이 나머지는 요소 현명합니다.

이를 위해 scipy를 사용하고 싶을 것입니다. 이 기능 scipy.spatial.distance.pdist은 필요한 것을 수행 scipy.spatial.distance.squareform하며 인생을 편하게 할 것입니다.

커널 매트릭스를 원한다면

from scipy.spatial.distance import pdist, squareform
  # this is an NxD matrix, where N is number of items and D its dimensionalites
X = loaddata() 
pairwise_dists = squareform(pdist(X, 'euclidean'))
K = scip.exp(-pairwise_dists ** 2 / s ** 2)

설명서는 여기 에서 찾을 수 있습니다 . 

bayerj의 답변에 대한 작은 부록으로, scipy의 pdist함수는로 호출하여 제곱 유클리드 규범을 직접 계산할 수 있습니다 pdist(X, 'sqeuclidean'). 그러면 전체 코드를보다 효율적으로 작성할 수 있습니다

from scipy.spatial.distance import pdist, squareform
  # this is an NxD matrix, where N is number of items and D its dimensionalites
X = loaddata() 
pairwise_sq_dists = squareform(pdist(X, 'sqeuclidean'))
K = scip.exp(-pairwise_sq_dists / s**2)

손으로 정사각형을 작성할 수도 있습니다.

import numpy as np
def vectorized_RBF_kernel(X, sigma):
    # % This is equivalent to computing the kernel on every pair of examples
    X2 = np.sum(np.multiply(X, X), 1) # sum colums of the matrix
    K0 = X2 + X2.T - 2 * X * X.T
    K = np.power(np.exp(-1.0 / sigma**2), K0)
    return K

추신하지만 이것은 30 % 느리게 작동합니다.

def my_kernel(X,Y):
    K = np.zeros((X.shape[0],Y.shape[0]))
    for i,x in enumerate(X):
        for j,y in enumerate(Y):
            K[i,j] = np.exp(-1*np.linalg.norm(x-y)**2)
    return K

clf=SVR(kernel=my_kernel)

어느

clf=SVR(kernel="rbf",gamma=1)

위의 코드 노트에서 RBF를 효과적으로 계산할 수 있습니다. 감마 값은 1이므로 요청한 s도 같은 상수이므로 감마 값은 1입니다.

나는 이것이 도움이 될 것이라고 생각한다.

def GaussianKernel(v1, v2, sigma):
    return exp(-norm(v1-v2, 2)**2/(2.*sigma**2))