R의 randomForest는 32 개 이상의 레벨을 처리 할 수 ​​없습니다. 해결 방법은 무엇입니까?

R의 randomForest 패키지는 32 개 이상의 레벨을 가진 요인을 처리 할 수 ​​없습니다. 32 개 이상의 레벨이 제공되면 오류 메시지가 나타납니다.

범주가 32 개 이상인 범주 형 예측 변수를 처리 할 수 ​​없습니다.

그러나 내가 가지고있는 데이터에는 몇 가지 요소가 있습니다. 그들 중 일부는 1000 + 레벨을 가지고 있고 일부는 100 +를 가지고 있습니다. 미국의 '상태'는 52입니다.

자, 여기 내 질문이 있습니다.

1. 왜 그런 제한이 있습니까? randomForest는 간단한 경우에도 실행을 거부합니다.

   > d <- data.frame(x=factor(1:50), y=1:50)
   > randomForest(y ~ x, data=d)
     Error in randomForest.default(m, y, ...) : 
     Can not handle categorical predictors with more than 32 categories.
   

   단순히 메모리 제한으로 인해 scikit learn의 randomForeestRegressor가 32 개 이상의 레벨로 실행될 수있는 방법은 무엇입니까?

2. 이 문제를 처리하는 가장 좋은 방법은 무엇입니까? X1, X2, ..., X50 독립 변수가 있고 Y가 종속 변수라고 가정하십시오. 그리고 X1, X2 및 X3의 레벨이 32 개 이상이라고 가정하십시오. 어떻게해야합니까?

   내가 생각하고있는 것은 거리가 Y의 차이로 정의되는 X1, X2 및 X3 각각에 대해 클러스터링 알고리즘을 실행하는 것입니다. 문제가있는 세 가지 변수가 있으므로 3 개의 클러스터링을 실행합니다. 그리고 각 군집에서 비슷한 수준을 찾을 수 있기를 바랍니다. 그리고 그것들을 합칠 것입니다.

   이 소리는 어때?

수준 의 요인에 대한 분할 이 실제로 2 N - 2 가능한 조합 중 하나의 선택 이므로 실제로는 상당히 합리적인 제약 입니다. 따라서 25 와 같은 N을 사용 하더라도 조합의 공간은 너무 커서 그러한 추론은 사소한 의미가 있습니다.$N$$2^N-2$$N$

$N$

다른 옵션은 표현을 변경하는 것입니다. 결과는 주 개체에 직접적으로 의존하지 않지만 지역, 인구, 1 인당 소나무 수 또는 정보 시스템에 대신 연결할 수있는 기타 속성과 같은 것입니다.

또한 각 주가 분리되고 상관되지 않은 독립 체이기 때문에 별도의 모델이 필요합니다.

의사 결정을 기반으로 한 클러스터링은 아마도 결정에서 정보를 밀착시켜 종종 과잉 맞춤으로 끝나기 때문에 나쁜 생각 일 것입니다.

가장 큰 이유는 randomForest가 구현되는 방식입니다. R의 구현은 원래 Breiman의 사양을 많이 따릅니다. 여기서 유의해야 할 것은 요인 / 범주 형 변수의 경우 분할 기준은 왼쪽에 일부 레이블 값이 있고 오른쪽에 나머지 레이블 값이있는 이진입니다.

$0$$1$$[0;2^M-1]$

왜 Weka와 Python의 구현이 작동합니까?

weka 구현은 기본적으로 CART 트리를 사용하지 않습니다. 범주 형 입력의 경우 각 레벨 값마다 하나씩 여러 노드로 분할되므로이 계산 문제가없는 C45 트리를 사용합니다.

파이썬 랜덤 포레스트 구현은 categorical / factor 변수를 사용할 수 없습니다. 해당 변수를 더미 또는 숫자 변수로 인코딩해야합니다.

$M$

하나의 열을 다르게 표시하려고 할 수 있습니다. 희소 데이터 프레임과 동일한 데이터를 나타낼 수 있습니다.

가능한 최소 코드;

example <- as.data.frame(c("A", "A", "B", "F", "C", "G", "C", "D", "E", "F"))
names(example) <- "strcol"

for(level in unique(example$strcol)){
      example[paste("dummy", level, sep = "_")] <- ifelse(example$strcol == level,     1, 0)
}

원래 열의 각 값이 이제 별도의 더미 열이되는 방법에 주목하십시오.

보다 광범위한 예제 코드;

set.seed(0)
combs1 = sample.int(33, size= 10000, replace=TRUE)
combs2 = sample.int(33, size= 10000, replace=TRUE)
combs3 = combs1 * combs2 + rnorm(10000,mean=0,100)
df_hard = data.frame(y=combs3, first=factor(combs1), second=factor(combs2))

for(level in unique(df_hard$first)){
    df_hard[paste("first", level, sep = "_")] <- ifelse(df_hard$first == level, 1, 0)
}

for(level in unique(df_hard$second)){
    df_hard[paste("second", level, sep = "_")] <- ifelse(df_hard$second == level, 1, 0)
}

example$first <- NULL
example$second <- NULL

rf_mod = randomForest( y ~ ., data=example )

이 코드는 실제로 더 이상 오류가 발생하지 않음을 보여 주지만 randomForest 알고리즘이 완료되기까지 오랜 시간이 필요하다는 것을 알 수 있습니다. 이것은 CPU 제약으로 인해 이제 샘플링을 통해이 작업을 줄일 수 있습니다.

자세한 내용은 다음 블로그 포스트를 확인하십시오.

https://blog.cloudera.com/blog/2013/02/how-to-resample-from-a-large-data-set-in-parallel-with-r-on-hadoop/

extraTrees 패키지를 대신 사용할 수 있습니다. 매우 무작위 화 된 포리스트 알고리즘은 중단 점 / 분할을 시도하지 않고 분할의 제한된 무작위 서브 세트 만 시도합니다.

다른 옵션 : 데이터의 수준 수와 관측치 수에 따라 일부 수준을 병합 할 수 있습니다. 한계를 벗어나는 것만으로도 관측치가 적은 수준이 많은 경우 분산이 줄어들 수 있습니다. Hadley 의 forcats : fct_lump가이를 수행합니다.