가장 빠른 SVM 구현

더 일반적인 질문입니다. 예측 모델링을 위해 rbf SVM을 실행하고 있습니다. 현재 프로그램에 약간의 속도 향상이 필요하다고 생각합니다. 나는 scikit learn을 거친 그리드 검색 + 교차 유효성 검사와 함께 사용합니다.

각 SVM 실행에는 약 1 분이 걸리지 만 모든 반복 작업으로 인해 여전히 너무 느립니다. 결국 여러 코어에서 교차 유효성 검사 부분을 멀티 스레드한다고 가정하면 프로그램 속도 향상에 대한 권장 사항이 있습니까? 더 빠른 SVM 구현이 있습니까? 일부 GPU SVM에 대해 들어 봤지만 많이 다루지 않았습니다. 모든 사용자가 더 빠릅니까?

Google의 Sofia 알고리즘 에는 선형 SVM의 매우 빠른 구현이 포함되어 있습니다. 그것은 가장 빠른 SVM 중 하나이지만 분류 만 지원하고 선형 SVM 만 지원한다고 생각합니다.

심지어 R 패키지가 있습니다 !

가장 빠른 속도 향상은 교차 유효성 검사를 병렬로 실행하는 것입니다. 개인적으로, 나는 foreach 를 백엔드로 사용하는 R 의 캐럿 패키지를 좋아합니다 . 교차 유효성 검사 및 그리드 검색을 여러 코어 또는 여러 시스템으로 매우 쉽게 농사화할 수 있습니다.

Caret은 rbf SVM을 포함하여 다양한 모델을 처리 할 수 ​​있습니다.

library(caret)
library(doMC)
registerDoMC()
model <-  train(Species ~ ., data = iris, method="svmRadial", 
    trControl=trainControl(method='cv', number=10))
> confusionMatrix(model)
Cross-Validated (10 fold) Confusion Matrix 

(entries are percentages of table totals)

            Reference
Prediction   setosa versicolor virginica
  setosa       32.4        0.0       0.0
  versicolor    0.0       30.9       2.0
  virginica     0.9        2.4      31.3

doMC () 라이브러리는 mac 및 Linux에서만 사용 가능하며 GUI가 아닌 명령 행에서 실행해야하며 RWeka의 모든 모델을 중단합니다. MPI 또는 SNOW 클러스터를 병렬 백엔드로 사용하기도 쉽지만 이러한 문제는 없습니다.

나는 이것이 매우 오래된 질문이라는 것을 알고 있지만 커널 데이터 맵의 저 차원 근사치를 사용하고 선형 SVM에서 사용하는 것이 가능합니다 (데이터 세트의 크기에 따라 다소 효과적 일 수 있음). http://scikit-learn.org/stable/modules/kernel_approximation.html을 참조 하십시오

파이썬의 멀티 프로세싱 모듈을 살펴보십시오 . 병렬 처리가 매우 쉽고 교차 검증에 적합합니다.

R은 GPU 가속 svm 패키지 rpusvm 을 가지고 있으며 20K 샘플 * 100 크기를 학습하는 데 ~ 20 초가 걸리며 CPU에 과부하가 걸리지 않으므로 GPU를 효율적으로 사용합니다. 그러나 NVIDIA GPU가 필요합니다.

경고 : 이것은 뻔뻔한 플러그입니다.

내가 작업중 인 스칼라 기반 ML 라이브러리 인 DynaML을 고려하십시오. 그리드 검색 또는 Coupled Simulated Annealing을 사용하여 자동 커널 튜닝과 함께 커널 기반 LS-SVM (Least Squares Support Vector Machines)을 구현했습니다.

http://mandar2812.github.io/DynaML/