대규모 텍스트 분류

텍스트 데이터를 분류하려고합니다. 나는 300 classes수업 당 200 개의 교육 문서를 가지고 60000 documents in total있으며 이것은 매우 높은 차원의 데이터 를 초래할 가능성 이있다 (우리는 1 백만 개 이상의 차원을 보고있을 것이다 ).

파이프 라인에서 다음 단계를 수행하고 싶습니다 (내 요구 사항에 대한 이해를 돕기 위해).

1. 각 문서를 피처 벡터 ( tf-idf또는 vector space model) 로 변환
2. Feature selection( Mutual Information바람직하게 또는 다른 표준을 기반으로 함)
3. 분류 훈련 ( SVM, Naive Bayes, Logistic Regression또는 Random Forest)
4. 훈련 된 분류기 모델을 기반으로 보이지 않는 데이터를 예측합니다.

문제는 이러한 고차원 데이터를 처리하기 위해 어떤 도구 / 프레임 워크를 사용해야합니까? 나는 평범한 용의자 (R, WEKA ...)를 알고 있지만 내 지식이가는 한 (내가 틀릴 수도 있음) 아마도 아무도이 큰 데이터를 처리 할 수 ​​없습니다. 내가 볼 수있는 선반 도구 이외의 다른 도구가 있습니까?

병렬화 해야하는 경우 Apache Mahout을 보고해야 합니까? 아직 필요한 기능을 제공하지 못하는 것 같습니다.

미리 감사드립니다.

업데이트 : 나는 이 웹 사이트 , R 메일 링리스트 및 인터넷을 둘러 보았습니다 . 내 상황에서 다음과 같은 문제가 발생할 수 있습니다.

R (사용하여 내 데이터 전처리 (1) TM을 특히 패키지)이 될 수 비실용적 때문에 tm엄청나게 느린 될 것입니다.

(2) R 패키지의 앙상블 (전처리, 희소 행렬, 분류기 등)을 사용해야하므로 패키지 간의 상호 운용성이 문제가 될 수 있으며 한 형식에서 다른 형식으로 데이터를 변환 할 때 추가 오버 헤드가 발생할 수 있습니다. . 예를 들어 tmWEKA와 같은 외부 도구를 사용하여 사전 처리를 수행 하는 경우이 데이터를 R의 HPC 라이브러리가 읽을 수있는 형식으로 변환하는 방법을 찾아야합니다. 그리고 분류 자 ​​패키지가 HPC 라이브러리에서 제공 한대로 데이터를 직접 가져 오는지 명확하지 않습니다.

내가 올바른 길을 가고 있습니까? 그리고 더 중요한 것은, 이해가 되나요?

데이터가 scipy.sparse.csr_matrixPython의 인스턴스 와 같은 희소 데이터 구조로 표시되는 한 데이터가 작동하도록 할 수 있어야합니다 . 텍스트 데이터 작업을 위한 자습서를 작성했습니다 . 해싱 트릭을 활용하여 메모리 사용량을 더 줄일 수도 있습니다 . 또는 HashingVectorizer대신에 사용하도록 조정 CountingVectorizer하십시오 TfidfVectorizer. 이것은 문서 섹션 텍스트 기능 추출에 설명되어 있습니다 .

랜덤 포레스트는 일반적으로 선형 모델 (예 : 선형 지원 벡터 머신 및 로지스틱 회귀) 및 다항식 또는 베르누이 순진 베이보다 훨씬 비싸고, 단순한 모델보다 예측 정확도가 크게 향상되지 않는 대부분의 텍스트 분류 문제입니다.

scikit-learn이 문제에 맞게 확장되지 못하면 Vowpal Wabbit 은 말한 모든 모델을 구현하지는 않지만 sklearn보다 빠릅니다.

scikit-learn 라이브러리의 현재 상태를 반영하고 끊어진 링크를 수정하기 위해 2015 년 4 월에 편집되었습니다.

Python 용 Gensim 은 마법입니다. 그리고 파이썬으로되어 있기 때문에 @ogrisel의 제안과 함께 사용할 수 있습니다.

내 자신의 경적을 울리지는 않지만 Rapidminer를 사용하여 텍스트 분석에 대한 인기있는 비디오 시리즈를 만들었습니다. 여기에서 볼 수 있습니다 :

http://vancouverdata.blogspot.com/2010/11/text-analytics-with-rapidminer-loading.html

기능 선택을 피할 수 있습니다. 메모리에 백만 * 백만 행렬을 생성하지 않는 분류기를 사용하십시오. :)

로지스틱 회귀는 그 많은 차원에서 질식 할 것입니다. Naive Bayes는 독립 치수를 가정하므로 괜찮습니다. SVM은 차원 수 (지지 벡터 수)에 의존하지 않으므로 괜찮습니다.

300은 많은 수업입니다. 나는 몇 가지로 시작하고 당신의 방법을 작동합니다.

먼저, 귀하의 의견에 따라, 이것을 300 이진 (예 / 아니오) 분류 문제로 취급합니다. 사용하기 쉬운 오픈 소스 이진 분류기 학습자가 많이 있으며,이를 통해 메모리 시간을 교환 할 수 있습니다.

SVM과 로지스틱 회귀는 아마도 텍스트 분류에 가장 많이 사용되는 방법 일 것입니다. 현대 구현에서는 드문 데이터 구조를 사용하고 과적 합을 피하는 정규화 설정을 포함하므로 둘 다 1000000 차원을 쉽게 처리 할 수 ​​있습니다.

WEKA 및 KNIME을 포함한 여러 오픈 소스 머신 러닝 제품군 에는 SVM과 로지스틱 회귀가 모두 포함됩니다. 독립형 SVM 구현에는 libSVM 및 SVMlight가 포함됩니다 . 로지스틱 회귀 분석을 위해 Madigan, Genkin 및 기타 와 함께 개발 한 BXRtrain 및 BXRclassify를 연결 합니다. BXRclassify는 수천 개의 로지스틱 회귀 모델의 메모리 내 인덱스를 작성하고 동시에 적용 할 수 있습니다.

텍스트를 속성 벡터 형태로 변환하는 것에 관해서는, 나는 항상 처음부터 그것을하기 위해 약간의 Perl을 작성하게됩니다. :-) 그러나 내가 언급 한 머신 러닝 제품군에는 토큰 화 및 벡터화 코드가 포함되어 있다고 생각합니다. 또 다른 방법은 LingPipe 와 같은 더 많은 자연 언어 툴킷 을 사용하는 것입니다.

Sklearn 0.13부터 실제로 HashingVectorizer 구현이 있습니다.

편집 : 여기에 sklearn 문서에서 그러한 응용 프로그램의 본격적인 예가 있습니다.

기본적으로이 예제는 컴퓨터의 주 메모리에 맞지 않는 데이터 (디스크 / 네트워크 / ...)에 텍스트를 분류 할 수 있음을 보여줍니다.