기계 학습 분류기 (big-O) 또는 복잡성

새로운 분류 알고리즘의 성능을 평가하기 위해 정확성과 복잡성을 비교하려고합니다 (훈련 및 분류에서 큰 O). 에서 기계 학습 : 리뷰는 내가 알고리즘 사이 또한, 정확성 테이블을 완전한 감독 분류 목록을 얻고, 44 시험 문제 UCI 데이터 repositoy . 그러나 다음과 같은 일반적인 분류 기준이 큰 리뷰, 종이 또는 웹 사이트를 찾을 수 없습니다.

• C4.5
• 리퍼 (이것은 가능하지 않을지 모르지만 누가 아는가)
• 역 전파 ANN
• 나이브 베이 시안
• K-NN
• SVM

누구 든지이 분류 자에 대한 표현이 있으면 매우 유용 할 것입니다. 감사합니다.

= 훈련 예의 수, d = 특징의 차원 및 c = 클래스의 수를 보자 .$N$$d$$c$

그런 다음 훈련에는 복잡성이 있습니다.

1. Naive Bayes는 이며, 필요한 것은 각 클래스에 대한 모든 피쳐 값 d i 의 빈도를 계산하는 것 입니다.$O(Nd)$$d_i$
2. -NN은 O ( 1 )입니다 (일부 사람들은 존재하지않는다고말하지만시간이 걸리는 데이터를 저장해야하기 때문에훈련의 공간 복잡도는 O ( N d )입니다 ).$k$$\mathcal{O}(1)$$\mathcal{O}(Nd)$
3. 비선형 비 대략 SVM은 또는 O ( N 3 ) 커널에 따라. 몇 가지 트릭 으로 O ( N 3 ) 를 O ( N 2.3 ) 로 줄일 수 있습니다 .$O(N^2)$$O(N^3)$$O(N^3)$$O(N^{2.3})$
4. 대략적인 SVM은 이며 여기서 R은 반복 횟수입니다.$O(NR)$

테스트 복잡성 :

1. Naive Bayes는 각 c 클래스 에 대해 d 개의 피처 값 을 검색해야하므로 입니다.$\mathcal{O}(cd)$$d$$c$
2. $k$$\mathcal{O}(Nd)$

출처 : "핵심 벡터 기계 : 매우 큰 데이터 세트에 대한 빠른 SVM 교육"- http://machinelearning.wustl.edu/mlpapers/paper_files/TsangKC05.pdf

나는 다른 사람들에 대해 모른다.