임의 부엌 싱크대는 어떻게 작동합니까?

작년 NIPS 2017에서 Ali Rahimi와 Ben Recht는 논문 "대규모 커널 머신 을위한 랜덤 기능 " 에서 무작위 기능을 도입 한 후 시간이 지남에 따라 테스트를 거쳤으며 , 이후 무작위 부엌 싱크 알고리즘으로 체계화되었습니다. 논문 발표의 일환으로, 모델은 5 줄의 MATLAB에서 구현 될 수 있음을 보여주었습니다.

% Approximates Gaussian Process regression
%     with Gaussian kernel of variance gamma^2
% lambda: regularization parameter
% dataset: X is dxN, y is 1xN
% test: xtest is dx1
% D: dimensionality of random feature

% training
w = randn(D,d);
b = 2 * pi * rand(D, 1);
Z = cos(gamma * w * X + b * ones(1,N));

alpha = (lambda * eye(D) +Z * Z') \ (Z * y);

% testing
ztest = alpha' * cos(gamma * w * xtest + b);

위의 알고리즘이 무엇을 배우는 방법은 분명하지 않습니다. 임의 부엌 싱크대는 어떻게 작동합니까? 가우시안 프로세스와 비슷하고 벡터 머신을 어떻게 지원합니까?

편집하다

Rahimi의 이야기를 살펴보면 랜덤 부엌 싱크대라는 용어는 상을받은 논문에 소개되지 않고 "대규모 커널 머신에 대한 임의의 특징"으로 시작하는 논문의 3 부작의 끝에서 소개됩니다. 다른 논문은 다음과 같습니다.

라 히미, 알리, 벤자민 레흐트. "임의의 염기를 가진 함수의 균일 근사치." 커뮤니케이션, 제어 및 컴퓨팅, 2008 년 46 차 Allerton Conference on. IEEE, 2008.

라 히미, 알리, 벤자민 레흐트. "무작위 부엌 싱크대의 무게 합계 : 학습의 최소화를 최소화로 대체합니다." 신경 정보 처리 시스템의 발전. 2009.

위에서 소개 한 코드 스 니펫은 마지막 논문에서 알고리즘 1을 전문으로 생각합니다.

임의의 부엌 싱크대 (또는 임의의 푸리에 기능) 및 기타 관련 방법은 추론을 수행하기 위해 노력하지 않고 오히려 커널 기반 추론 방법의 병목 현상을 줄입니다.

$n \times n$$O(n^3)$

랜덤 푸리에 기능 (Rehimi & Recht 2007)은 커널 푸리에 구성 요소의 랜덤 서브 세트 만 샘플링하여 변이 불변 커널의 낮은 순위 근사치를 만드는 것을 고려했습니다. 푸리에 공간이 변하지 않기 때문에,이 특성은 보존되었지만 이제는 이러한 푸리에 구성 요소의 결합으로 명시 적 유한 치수 재생 커널 힐버트 공간이 형성되었습니다. 한 번 무한한 차원의 RKHS는 축퇴 근사 커널에 의해 근사됩니다.

코드 스 니펫에 대한 참고 사항 : 5 줄에 몇 가지 세부 사항이 있습니다. 가장 중요한 것은 가우시안 함수가 푸리에 공간에서 가우시안 함수라는 것입니다. 분산 만 반전됩니다. 이것이 랜드에서 샘플링 한 다음 분산을 곱하는 이유입니다. 그런 다음 ztest를 찾기위한 하위 프로 시저 인 알파를 생성합니다. 기본적으로 일반적인 커널 예측은 다음과 같습니다.

$z_{test} = K(x_{test}, x)(K(x, x) + \lambda I)^{-1} y.$

$z_{test} = \Phi(x_{test})^T\Phi(x)(\Phi(x)^T\Phi(x) + \lambda I)^{-1} y.$

$\Phi(\cdot)$

사이드 코멘트 : 사용해야합니까? 대답은 명확하지 않습니다. 그것은 당신이 모델링하는 것에 전적으로 달려 있습니다. 푸리에 공간을 사용하는 것이 비정규 비변이 고정 커널에 반드시 필요한 것은 아닙니다. 사람들은이 설정에서 작동한다고 주장하지 않았지만 그 지역에서 시작하면 뉘앙스가 분명하지 않은 경우가 있습니다.