희소 예측 변수 및 반응을 사용하는 CART와 유사한 방법에 사용할 수있는 라이브러리가 있습니까?

R의 gbm 패키지를 사용하여 일부 큰 데이터 세트로 작업하고 있습니다. 예측 변수 행렬과 응답 벡터가 매우 희박합니다 (즉, 대부분의 항목이 0 임). 나는 여기 에서했던 것처럼이 sparseness를 이용하는 알고리즘을 사용하여 의사 결정 트리를 구축하기를 바랐다 . 이 백서에서와 같이 대부분의 항목에는 가능한 많은 기능 중 일부만 있으므로 데이터가 명시 적으로 다르게 언급되지 않는 한 항목에 지정된 기능이 없다고 가정하여 계산 낭비를 피할 수있었습니다. 내 희망은 이런 종류의 알고리즘을 사용하여 비슷한 속도를 낼 수 있다는 것입니다 (그리고 예측 정확도를 높이기 위해 증폭 알고리즘을 래핑합니다).

그들이 코드를 공개하지 않은 것 같아서,이 경우에 최적화 된 오픈 소스 패키지 나 라이브러리 (어떤 언어)가 있는지 궁금했습니다. 이상적으로는 R의 Matrix패키지 에서 직접 희소 행렬을 취할 수있는 것을 원 하지만 얻을 수있는 것을 취할 것입니다.

나는 둘러 보았고 이런 종류의 것이 거기에 있어야하는 것처럼 보입니다.

• 화학자들은이 문제를 많이 겪고있는 것 같습니다 (위의 링크 된 논문은 새로운 약물 화합물을 찾는 법을 배우는 것에 관한 것이 었습니다). 그러나 내가 찾은 구현은 독점적이거나 화학 분석에 매우 특화된 것입니다. 그래도 그중 하나가 용도 변경 될 수 있습니다.

• 문서 분류는 또한 희소 피쳐 공간에서 학습하는 것이 유용한 영역 인 것 같습니다 (대부분의 문서에는 대부분의 단어가 포함되지 않음). 예를 들어, 이 백서 에는 C4.5 (CART와 유사한 알고리즘)의 스파 스 구현에 대한 기울어 진 참조가 있지만 코드는 없습니다.

• 메일 링리스트 에 따르면 WEKA는 희소 데이터를 받아 들일 수 있지만, 위에 링크 된 논문의 방법과 달리 WEKA는 CPU 사이클 낭비를 피하는 데 실제로 활용하도록 최적화되지 않았습니다.

미리 감사드립니다!

rf에 사용되는 최신 CART 구현에 대한 스파 스 구현의 벤치 마크를보고 싶습니다. 이 종이는이 분야의 발전 측면에서 상당히 오래되었으며 여전히 상당한 속도를 제공한다면 놀랄 것입니다.

그 이유 중 하나는 분할 검색에서 Quicksort와 같은 영리한 정렬 알고리즘을 사용하면 거의 일정한 기능 (드문 드문 기능 포함)에 대해 거의 O (n)의 성능을 제공 할 수 있기 때문입니다. 빠른 구현은 기능이 트리의 분기 내에서 일정 해졌을 때 추적하여 더 이상 검사하지 않아야합니다. 고밀도 기능 표현은 CPU 캐시 친화적 인 방식으로 빠른 조회를 제공하므로 CPU 사이클에서 승리하려면 실제로 영리한 희소 표현이 필요합니다.

이것은 여기 , 여기 , 여기 에서 논의 됩니다 .

실제로 rf 패키지 CloudForest의 한 지점에서 데이터의 스파 스 데이터 표현을 구현 했지만 데이터의 밀도가 느린 것으로 나타 났 으며 메모리 이점을 제공했지만 포기했습니다.

내 권장 사항은 부스팅에 내장 된 scikit learn 또는 cloudforest를 시도하고 그것이 충분히 빠른지 확인하는 것입니다. 비표준 작업을 수행하려는 경우 사용자 지정 부스팅 기준으로 두 가지를 모두 확장 할 수 있습니다. (실제로 설명하는 것과 매우 유사한 대규모의 고차원 유전자 데이터 세트로 작업하기 위해 클라우드 포레스트를 썼습니다.)

아마도 코드를 활용할 가능성이 거의 없을 것입니다. 직접 작성해야합니다.
그러나 다른 옵션은 중복 정보를 제거하는 데이터 크기를 줄이기 위해 데이터를 변환하는 것입니다. 데이터에 대한 정보가없는 방법을 말하기는 어렵지만 중복되지 않는 일부 기능, PCA 부분 또는 일부 설명 자의 표현을 변경하는 방법은 무엇입니까? 또한 응답이 드문 경우 응답이 0 인 객체를 다운 샘플링하는 것이 합리적입니까?

R 의 caret패키지 를 보셨습니까 ? 그것은 쉽게 같은 재귀 분할에 대한 몇 가지를 포함하여 다양한 모델을 사용할 수있게하는 인터페이스를 제공 rpart, ctree하고 ctree2.