"멀티 코어"를 사용하기 위해 R 스크립트를 최적화하는 방법

CPU가 4 개인 Ubuntu-Lucid PC에서 GNU R을 사용하고 있습니다. 4 개의 CPU를 모두 사용하기 위해 "r-cran-multicore"패키지를 설치했습니다. 패키지 매뉴얼에는 내가 이해하는 실용적인 예제가 없기 때문에 4 개의 CPU를 모두 사용하기 위해 스크립트를 최적화하는 방법에 대한 조언이 필요합니다.

내 데이터 세트는 50,000 개의 행과 1600 개의 열이있는 data.frame (P1이라고 함)입니다. 각 행에 대해 최대, 합계 및 평균을 계산하고 싶습니다. 내 스크립트는 다음과 같습니다.

p1max <- 0
p1mean <- 0
p1sum <-0
plength <- length(P1[,1])
for(i in 1:plength){
   p1max <- c(p1max, max(P1[i,]))
   p1mean <- c(p1mean, mean(P1[i,]))
   p1sum <- c(p1sum, sum(P1[i,]))
}

CPU 4 개를 모두 사용하기 위해 스크립트를 수정하고 실행하는 방법을 알려주시겠습니까?

foreach 및 doMC를 사용하십시오 . 자세한 설명은 여기를 참조하십시오 . 당신의 스크립트는 줄을 거의 변경하지 않습니다

for(i in 1:plength){

로 변경되어야합니다

foreach(i=1:plength) %dopar% { 

이 패키지를 사용하는 멀티 태스킹 스크립트의 전제 조건은 다음과 같습니다.

library(foreach)
library(doMC)
registerDoMC()

주의 사항. 설명서에 따르면 GUI에서 사용할 수 없습니다.

문제는 멀티 태스킹이 정말로 필요합니까? data.frame은 약 1.2GB의 RAM을 사용하므로 메모리에 맞아야합니다. 따라서 간단히 apply를 사용할 수 있습니다 :

p1smry <- apply(P1,1,summary)

결과는 각 행의 요약이 포함 된 행렬이됩니다.

패키지 멀티 코어에있는 mclapply 함수를 사용할 수도 있습니다 . 그러면 스크립트는 다음과 같습니다.

loopfun <- function(i) {
     summary(P1[i,])
}

res <- mclapply(1:nrow(P1),loopfun)

그러면 i 번째 요소가 i 번째 행의 요약이되는 목록이 반환됩니다. sapply를 사용하여 행렬로 변환 할 수 있습니다

mres <- sapply(res,function(x)x)

둘 이상의 코어를 사용하는 방법에 대한 답변이 이미 있지만 실제 문제는 루프를 작성하는 방식에 있습니다. 루프가 반복 될 때마다 결과 벡터 / 객체를 확장하지 마십시오 . 이 작업을 수행하면 R이 결과 벡터 / 오브젝트를 복사하고 시간이 걸리는 모든 것을 확장하도록 강제합니다. 대신, 루프를 시작하기 전에 충분한 저장 공간을 미리 할당하고 진행하십시오. 예를 들면 다음과 같습니다.

set.seed(1)
p1 <- matrix(rnorm(10000), ncol=100)
system.time({
p1max <- p1mean <- p1sum <- numeric(length = 100)
for(i in seq_along(p1max)){
   p1max[i] <- max(p1[i,])
   p1mean[i] <- mean(p1[i,])
   p1sum[i ]<- sum(p1[i,])
}
})

   user  system elapsed 
  0.005   0.000   0.005

또는 다음을 통해 이러한 작업을 수행 할 수 있습니다 apply().

system.time({
p1max2 <- apply(p1, 1, max)
p1mean2 <- apply(p1, 1, mean)
p1sum2 <- apply(p1, 1, sum)
})
   user  system elapsed 
  0.007   0.000   0.006 

그러나 이것은 루프를 올바르게 수행하는 것보다 빠르지 않으며 때로는 느립니다.

그러나 항상 벡터화 된 코드를 찾으십시오. 다음을 사용하여 행 합 수단을 할 수있는 rowSums()및 rowMeans()빠른 루프 또는 하나 이상있는 apply버전 :

system.time({
p1max3 <- apply(p1, 1, max)
p1mean3 <- rowMeans(p1)
p1sum3 <- rowSums(p1)
})

   user  system elapsed 
  0.001   0.000   0.002 

내가 베팅 한 사람이라면, foreach()매트릭스에 대한 속도 테스트에서 뛰 거나 다른 멀티 코어 옵션을 언급하는 세 번째 접근법에 돈을 벌게 될 것입니다. 서로 다른 CPU 코어에서 생성 된 별도의 프로세스

업데이트 : @ shabbychef의 의견에 따라 한 번만 합계를 계산하고 평균 계산에 재사용하는 것이 더 빠릅니까?

system.time({
    p1max4 <- apply(p1, 1, max)
    p1sum4 <- rowSums(p1)
    p1mean4 <- p1sum4 / ncol(p1)
    })

   user  system elapsed 
  0.002   0.000   0.002

이 테스트 실행에는 없지만 철저하지는 않습니다.

눈 과 강설 패키지를 살펴보십시오 . 그와 함께 많은 예 ...

R과 병렬 처리에 대해 배우지 않고 특정 코드의 속도를 높이려면이 작업을 수행해야합니다

P1 = matrix(rnorm(1000), ncol=10, nrow=10
apply(P1, 1, max)
apply(P1, 1, mean)
apply(P1, 1, sum)