커널 릿지 회귀 효율

릿지 회귀는 여기서 는 예측 된 레이블입니다. , , 매트릭스를 식별 우리가 레이블을 찾기 위해 노력하고있는 객체와 의 매트릭스 객체 :

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

우리는 이것을 다음과 같이 커널화할 수 있습니다 :

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

여기서 $\mathbf{\mathcal{K}}$ 은 IS $n \times n$ 커널 함수 행렬 $K$

K = (\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & \dots & K (x_{1}, x_{n}) \\ K (x_{2}, x_{1}) & K (x_{2}, x_{2}) & \dots & K (x_{2}, x_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ K (x_{n}, x_{1}) & K (x_{n}, x_{2}) & \dots & K (x_{n}, x_{n}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

및 커널 함수의 열 벡터 $\mathbf{k}$ $n \times 1$ $K$

k = (\begin{matrix} K (x_{1}, x) \\ K (x_{2}, x) \\ ⋮ \\ K (x_{n}, x) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

질문 :

(a)에 더 많은 개체가있는 경우 크기보다 그것을 이해가 수행 하지 커널을 사용합니까? 예를 들어 를 행렬로 설정 한 다음 는 되고 대신 행렬을 반전 시킵니다. 행렬은 커널을 사용하는 것이 었습니다. 이것은 커널을 사용해서는 안된다는 것을 의미합니까 ? $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

(b) 가장 간단한 커널을 사용해야합니까? 능선 회귀 분석의 커널은 차원의 영향을 무효화하고 (지원 벡터 시스템과 달리) 피처 공간의 특정 속성을 사용하지 않는 데 사용됩니다. 커널이 객체 사이의 거리를 바꿀 수 있기 때문에 능선 회귀에 자주 사용되는 커널이 있습니까?

regression ridge-regression kernel-trick

— 나선
소스

'효율'은 통계에서 다른 의미를 갖습니다. '계산 복잡성'을 의미 했습니까? (제목)

— Memming

나는 "알고리즘 효율"을 의미했다. 내 질문에 의해 이것을 "계산의 복잡성"으로 줄여주는 것은 사실입니다.

— Helix

(a) 커널을 사용하는 목적은이 경우 비선형 회귀 문제를 해결하는 것입니다. 좋은 커널을 사용하면 무한 차원의 피처 공간에서 문제를 해결할 수 있습니다. 그러나 선형 커널 를 사용하고 이중 공간에서 커널 릿지 회귀를 수행하는 것은 원시 공간에서 문제를 해결하는 것과 같습니다. 즉, 이점이 없습니다 (관찰에 따라 샘플 수가 증가함에 따라 속도가 훨씬 느려집니다). $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

(b) 가장 인기있는 선택 중 하나는 제곱 지수 커널 인 범용 () REF 아래 참조. 많은 커널이 있으며 각각의 커널은 기능 공간에 대해 다른 내부 제품 (및 미터법)을 유도합니다. $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

참고 문헌 :

Bharath Sriperumbudur, Kenji Fukumizu 및 Gert Lanckriet. 보편성, 특징적인 커널 및 RKHS 측정의 관련성. 기계 학습 연구 저널, 9 : 773–780, 2010.
베른하르트 슐 코프, 알렉산더 J. 스 몰라 커널을 이용한 학습 : 벡터 머신 지원, 정규화, 최적화 및 2002 년 이후

— 메밍
소스