대규모 데이터 세트를 처리하기위한 통계 및 데이터 마이닝 소프트웨어 도구

현재 약 2 천만 개의 레코드를 분석하고 예측 모델을 작성해야합니다. 지금까지 Statistica, SPSS, RapidMiner 및 R을 사용해 보았습니다.이 통계 중 데이터 마이닝을 처리하는 데 가장 적합한 것으로 보이며 RapidMiner 사용자 인터페이스도 매우 편리하지만 Statistica, RapidMiner 및 SPSS는 소규모 데이터 세트에만 적합합니다. .

누구든지 큰 데이터 세트에 적합한 도구를 추천 할 수 있습니까?

감사합니다!

두 번째 @suncoolsu 의견 : 데이터 세트의 차원이 특정 소프트웨어를 지향하는 유일한 기준은 아닙니다. 예를 들어, 감독되지 않은 클러스터링을 수행하거나 PCA를 사용하려는 경우 게놈 연구에서 일반적으로 발생하는 대규모 데이터 세트에 대처할 수있는 몇 가지 전용 도구가 있습니다.

이제 R (64 비트)은 대용량 데이터를 잘 처리하지만 여전히 RAM 액세스 대신 디스크 스토리지를 사용하는 옵션이 있지만 CRAN 작업보기 R을 사용한 고성능 및 병렬 컴퓨팅을 참조하십시오 . 표준 GLM은 20,000 개의 obs를 쉽게 수용 할 수 있습니다. 적절한 시간 내에 아래에 표시된대로 (단, speedglm 참조 )

> require(MASS)
> n <- 20000
> X <- mvrnorm(n, mu=c(0,0), Sigma=matrix(c(1,.8,.8,1), 2, 2))
> df <- cbind.data.frame(X, grp=gl(4, n/4), y=sample(c(0,1), n, rep=TRUE))
> system.time(glm(y ~ ., data=df))
   user  system  elapsed
  0.361   0.018    0.379

좀 더 구체적으로 설명하기 위해 R을 사용하여 큰 유전자 데이터 (800 개 개인 x 800k SNP) 를 처리하고 분석했습니다 . 여기서 주요 통계 모델은 여러 공변량 (2 분)을 가진 층화 된 GLM이었고 효율적인 R 덕분에 가능했습니다. snpMatrix 패키지 에서 사용할 수있는 C 코드 ( 비교적으로 , 동일한 종류의 모델은 전용 C ++ 소프트웨어 ( plink )를 사용하여 약 8 분이 걸렸으며 임상 연구 (12k 환자 x 관심 변수 50 개)에도 참여했으며 R은 내 요구에 맞습니다. 마지막으로, lme4 패키지는 (대규모 교육 평가에서와 같이) 불균형 및 대규모 데이터 세트에 혼합 효과 모델을 적용 할 수있는 유일한 소프트웨어입니다.

Stata / SE는 대용량 데이터 세트를 처리 할 수있는 또 다른 소프트웨어입니다 . SAS 및 SPSS는 파일 기반 소프트웨어이므로 대량의 데이터를 처리합니다. 데이터 마이닝 소프트웨어에 대한 비교 검토는 데이터 마이닝 도구 : CRM에 가장 적합한 소프트웨어 중 하나 에서 확인할 수 있습니다 . 시각화를 위해 많은 옵션이 있습니다. 어쩌면 좋은 시작은 대규모 데이터 세트의 그래픽입니다. 백만개 시각화 ( P Murrell의 JSS에서 검토 )와이 사이트의 모든 관련 스레드입니다.

Apache Mahout 에있는 대부분의 알고리즘은 고차원 데이터에서도 20M 이상의 레코드를 확장합니다. 예측 모델 만 구축해야하는 경우 단일 컴퓨터에서 수십억 개의 레코드로 쉽게 확장 할 수있는 Vowpal Wabbit (http://hunch.net/~vw/)와 같은 특정 도구가 있습니다.

있다 RHIPE의 패키지 (R-하둡 통합). R에서 대량의 데이터를 분석하기가 매우 쉽습니다 (예외 포함).

어떤 종류의 모델을 염두에 두지 않고 좋은 대답을하기는 어렵습니다.

선형 회귀 분석을 위해 R 에서 biglm 패키지를 성공적으로 사용 했습니다.

대규모 데이터 세트에서 예측 모델을 구축하고 있으므로 Google의 BigQuery (Dremel을 사용한 대규모 데이터 세트 분석에 대한 Google 연구 논문의 호스팅 된 버전) 의 이점을 활용할 수 있습니다 . 예를 들어, 쿼리 결과를 수집을 위해 예측 분류기로 CSV로 내보낼 수 있습니다.

BigQuery에는 쿼리를 실행하고 결과를 내보낼 수있는 WebUI가 있습니다. BigQuery의 베타 (v1) 버전에는 R 클라이언트가 있으며 프로덕션 버전 (v2)에는 결국 R 클라이언트도 있습니다.

32GB 램과 4 개의 코어가있는 EC2 인스턴스에서 64 비트 R을 사용하여 3.5M 관측 및 44 개의 기능을 교육했습니다. 우리는 임의의 숲을 사용했고 잘 작동했습니다. 훈련 전에 데이터를 사전 처리 / 조작해야했습니다.

SAS Enterprise Miner 버전 6.2에는 2 천만 개의 관측치 및 사용자의 상황에 맞게 조정할 수있는 다양한 모델을 처리하는 데 아무런 문제가 없습니다. 그러나 SAS의 문제는 대개 비용입니다. 다음은 SAS EM이 수행 할 수있는 작업에 대한 요약입니다. SAS EM 6.2 : 새로운 기능

ScaVis ( http://jwork.org/scavis ) 를 볼 수 있습니까 ? 나는 20M을 보지 않았지만 확인하려고 할 수도 있습니다.

RHIPE 는 훌륭한 솔루션이며,이 문제가 발생하면 아마도이 솔루션을 선택할 것입니다! 하지만 NCSS를 고려 했습니까? 내가 아는 한, 최신 버전 10은 이러한 모델을 만들 수 있습니다. 전체 버전. 매우 비싸지 만 여러 원격 데스크톱 서비스 에서는 약간의 수수료만으로 앱을 실행할 수 있지만 몰라요 .. 오히려 확인하십시오.