어떤 머신 러닝 분류 기가 가장 병렬화 가능합니까?

어떤 머신 러닝 분류 기가 가장 병렬화 가능합니까? 분류 문제가 어렵고 시간이 제한되어 있지만 괜찮은 수준의 컴퓨터 LAN을 사용한다면 어떤 분류기를 사용 하시겠습니까?

손에 그것은 다음과 같이 스택에 대해 알고있는 일부 표준 분류 자처럼 보입니다. 그러나 완전히 잘못 될 수 있습니다.

랜덤 포레스트 (Random Forests)-각 머신이 모든 데이터를 보유 할 수있는 한 (즉, 트레이닝 데이터 자체를 나눌 수는 없지만 병렬화 가능) 병렬화가 매우 가능합니다.

부스팅-?

벡터 머신 지원-병렬화가 쉽지 않습니다.

의사 결정 트리-부분적으로 나눌 수 있지만 효율적이지 않습니다.

[강화를 포함하여 잘 알려진 분류의 대부분을 병렬화하기위한 노력이 계속있다 종이 , SVM [ 논문 ], 심지어 의사 결정 트리 [ 논문 ]. 물론 병렬 처리를 인정하면 알고리즘 구현, 샘플 복잡성 또는 기타 일반적인 용의자이든 다른 측면을 잃을 수도 있습니다.

이론적으로 말하면 학습에 대해 이야기 할 때 목표 기능에 대해 생각해야하기 때문에 질문이 더 어렵습니다. 예를 들어, 우리는 의사 결정 트리가 PAC- 학습 가능하다는 것을 알지 못하므로 대상 (및 방법)이 의사 결정 트리이면 추가 패싯을 도입하지 않고는 (아직도) 배울 수 없습니다. 문제. 부스팅은 약한 학습 조건, SVM 마진 등을 가정하여 그 문제를 해결합니다. 나는 이러한 가정이 PAC 학습을 제공하기 위해 병렬 사례로 전환한다고 생각합니다.

그러나 항상 그렇듯이 이론과 실천의 경계 (그리고 이에 대한 우려) 사이에는 큰 차이가 있습니다. 예를 들어 실제로는 병렬 처리가 코어 또는 클러스터에 있는지 여부가 중요합니다. 특히 대규모 데이터 설정에서 실용적으로 개발 된 알고리즘 중 하나는 VW 이며 병렬 처리 를 지원하기 시작했습니다 . 실제 병렬 학습 에 대한 NIPS 2010 워크숍 의 논문 에 관심이있을 수 있습니다 .