의미 분석을 위해 빅 데이터에 liblinear 사용

17

나는 의미 분석 문제 에 대한 데이터를 훈련시키고 분류를 예측하기 위해 Libsvm 을 사용 합니다. 그러나 의미 론적 분석이 n 차원 문제와 관련되어 있기 때문에 대규모 데이터 의 성능 문제가 있습니다.

작년에 Liblinear 는 출시되었으며 성능 병목 현상을 해결할 수 있습니다. 그러나 메모리 비용이 너무 많이 듭니다 . 가 맵리 듀스는 빅 데이터에 대한 의미 론적 분석 문제를 해결하는 유일한 방법은? 또는 Liblinear의 메모리 병목 현상을 개선 할 수있는 다른 방법이 있습니까?

machine-learning bigdata libsvm

— 퍼핀 GDI
소스

11

Apache Spark 로 포팅 된 LIBLINEAR의 초기 버전이 있습니다. 초기 세부 사항 및 프로젝트 사이트 는 메일 링리스트 주석 을 참조하십시오 .

— 숀 오언
소스

답변 주셔서 감사합니다. SVM과 다르게 보입니다. 조사하겠습니다. :)

— Puffin GDI

4

링크가 깨지기 쉬우므로 유용한 커뮤니티 자원이 막 다른 골목으로 변하기 때문에 오프 사이트를 답변에 링크하지 않는 것이 좋습니다. 답변을 게시물에 직접 올리는 것이 가장 좋습니다.

— Ana

1

그것에 동의하십시오. 이 시점에서 그것은 그 링크보다 더 많이 존재하지 않습니다. 기본 프로젝트에 대한 링크를 추가하겠습니다.

— Sean Owen

10

vowpal wabbit을 확인할 수 있습니다 . 대규모 학습에 매우 인기가 있으며 병렬 조항이 포함되어 있습니다.

그들의 웹 사이트에서 :

VW는 머신 러닝 속도의 핵심으로 테라피 어 데이터 세트에서 쉽게 학습 할 수 있습니다. 병렬 학습을 통해 학습 알고리즘 중 첫 번째 선형 학습을 수행 할 때 단일 머신 네트워크 인터페이스의 처리량을 초과 할 수 있습니다.

— 마크 클라 센
소스

1

오픈 소스와 일부 위키. 좋아 보인다. 제안 해 주셔서 감사합니다. :)

— Puffin GDI