R에서 랜덤 포레스트로 분류하는 경우, 불균형 클래스 크기를 어떻게 조정해야합니까?

현재 작업중 인 프로젝트에 대해 다른 분류 방법을 탐색 중이며 랜덤 포레스트 시도에 관심이 있습니다. 나는 갈수록 나 자신을 교육하려고 노력하고 있으며 CV 커뮤니티가 제공하는 도움에 감사하겠습니다.

데이터를 훈련 / 테스트 세트로 나누었습니다. R에서 random forest를 사용한 실험 (randomForest 패키지 사용)에서 나는 작은 클래스에 대해 높은 분류 오류로 어려움을 겪고 있습니다. 불균형 데이터에 대한 임의 포리스트의 성능에 관한 이 백서를 읽었 으며 저자는 임의 포리스트를 사용할 때 클래스 불균형을 처리하는 두 가지 방법을 제시했습니다.

1. 가중 무작위 숲

2. 균형 잡힌 무작위 숲

R 패키지는 클래스의 가중치를 허용하지 않습니다 (R 도움말 포럼에서 classwt 매개 변수가 올바르게 수행되지 않고 향후 버그 수정으로 예정되어 있음을 읽었습니다). 옵션 2가 남아 있습니다. 임의 포리스트의 각 반복에 대해 각 클래스에서 샘플링 된 개체 수

더 큰 클래스에 대한 정보를 너무 많이 잃어 미래 데이터의 성능이 저하되는 것처럼 느끼므로 임의 포리스트에 대해 동일한 샘플 크기를 설정하는 것이 불안합니다. 더 큰 클래스를 다운 샘플링 할 때 오 분류 율이 향상되는 것으로 나타 났지만 임의의 포리스트에서 불균형 한 클래스 크기를 처리하는 다른 방법이 있는지 궁금했습니다.

이러한 옵션이 마음에 들지 않으면 대신 부스팅 방법을 사용해 보셨습니까? 적절한 손실 기능이 주어지면 부스팅은 무게가 가면서 자동으로 재 보정됩니다. 랜덤 포레스트의 확률 론적 특성이 당신에게 호소력이 있다면, 확률 론적 그라디언트 부스팅은 그것도 만들어냅니다.

가중치 객체는 어떻게 든 복제하는 것과 같습니다. 다른 클래스를 적절히 샘플링하여 부트 스트랩 단계를 수정해야 할 수도 있습니다.

$0.5$

큰 클래스를 샘플링하는 대신 작은 클래스를 확장 할 수 있습니다! 큰 클래스가 작은 것보다 몇 배나 더 많은 관찰을하면 바이어스는 작습니다. 초대형 데이터 세트를 처리 할 수 ​​있기를 바랍니다.

또한 큰 클래스에 대한 대부분의 정보를 처리하는 관측치의 하위 집합을 식별 할 수 있으며 가능한 절차가 많으며 가장 가까운 이웃 방법을 기반으로 생각하는 가장 간단한 방법-주변 그래프 구조에 따라 관찰 된 샘플링 샘플링은 표본이 확률 밀도와 더 유사하다는 것을 보장합니다. 원래 하나.

randomForest는 Fortran과 c로 작성되었으며 소스 코드는 사용 가능하지만 (http://cran.r-project.org/src/contrib/randomForest_4.6-2.tar.gz), 엔트로피가 계산되는 곳을 찾을 수 없습니다. 추신. 랜덤 포리스트가 엔트로피 대신 지니를 사용하는 업업

(1) 가중치 기능이 작동하지 않으며 고정되었는지 확실하지 않습니다.

(2) 대부분 옵션 2를 균형 데이터와 함께 사용하십시오. 너무 많은 데이터를 잃어 버리지 않는 열쇠는 계층화 된 샘플링입니다. 각 트리에 대해 고유 한 밸런스 세트를 무작위로 샘플링합니다.

SMOTE (synthetic minority over-sampling)는 소수 관측치의 주변 관측치의 임의의 볼록한 조합으로 새로운 관측치를 생성합니다. 논문은 여기에 있습니다 : https://bmcbioinformatics.biomedcentral.com/articles/10.1186/1471-2105-14-106