불균형 데이터에 대한 의사 결정 트리 교육

데이터 마이닝을 처음 사용하고 있으며 불균형이 심한 데이터 세트에 대해 의사 결정 트리를 훈련하려고합니다. 그러나 예측 정확도가 좋지 않습니다.

데이터는 코스를 공부하는 학생들로 구성되며 클래스 변수는 취소됨 또는 현재의 두 값을 갖는 코스 상태입니다.

• 나이
• 민족
• 성별
• 코스
  ...
• 코스 상태

데이터 세트에는 Withdrawn보다 Current 인 인스턴스가 더 많습니다. 철회 된 인스턴스는 전체 인스턴스의 2 % 만 차지합니다.

미래에 사람이 철회 할 확률을 예측할 수있는 모델을 만들고 싶습니다. 그러나 훈련 데이터를 기준으로 모델을 테스트 할 때 모델의 정확도는 끔찍합니다.

데이터가 하나 또는 두 개의 클래스로 지배되는 의사 결정 트리와 비슷한 문제가 있습니다.

이 문제를 해결하고보다 정확한 분류기를 구축하기 위해 어떤 접근법을 사용할 수 있습니까?

이것은 의사 결정 트리뿐만 아니라 사실상 모든 분류 알고리즘에서 분류에 흥미롭고 매우 빈번한 문제입니다.

경험적으로 알 수 있듯이 두 클래스 중 다른 수의 대표로 구성된 트레이닝 세트는 대다수 클래스에 편향된 분류기를 생성 할 수 있습니다. 유사하게 불균형 인 테스트 세트에 적용될 때이 분류기는 낙관적 정확도 추정치를 산출합니다. 극단적 인 경우 분류기는 모든 단일 테스트 사례를 다수 클래스에 할당하여 다수 클래스에 속하는 테스트 사례 비율과 동일한 정확도를 달성 할 수 있습니다. 이것은 이진 분류에서 잘 알려진 현상이며 자연스럽게 다중 클래스 설정으로 확장됩니다.

불균형 데이터 세트로 인해 성능 추정이 비정상적으로 증가 할 수 있기 때문에 이것은 중요한 문제입니다. 결과적으로 알고리즘이 우연히 수행 한 것의 중요성에 대한 잘못된 결론으로 ​​이어질 수 있습니다.

이 주제에 대한 기계 학습 문헌은 본질적으로 세 가지 솔루션 전략을 개발했습니다.

1. 큰 클래스 를 언더 샘플링 하거나 작은 클래스 를 오버 샘플링 하여 처음부터 편향이 발생하지 않도록 훈련 세트의 균형을 복원 할 수 있습니다 .

2. 또는 이전 응답에서 언급 한대로 오 분류 비용을 다시 수정하여 편견을 방지 할 수 있습니다.

3. 추가적인 안전 장치는 정확도를 소위 균형 정확도 로 대체하는 것 입니다. 클래스 별 정확도의 산술 평균, 로 정의됩니다.$\phi := \frac{1}{2}\left(\pi^+ + \pi^-\right),$$\pi^+$$\pi^-$

위의 방법 중 두 가지 이상을 함께 고려하는 것이 좋습니다. 예를 들어, 분류자가 대다수 클래스에 유리한 편향을 얻지 못하도록 소수 클래스를 오버 샘플링 할 수 있습니다. 그런 다음 분류기의 성능을 평가할 때 정확도를 균형 정확도로 대체 할 수 있습니다. 두 가지 접근법은 상호 보완 적입니다. 함께 적용하면 원래 문제를 예방하고 그에 따른 잘못된 결론을 피할 수 있습니다.

이에 대한 후속 조치를 원할 경우 문헌에 대한 추가 참고 자료를 게시하게되어 기쁩니다.

다음 네 가지 아이디어가이 문제를 해결하는 데 도움이 될 수 있습니다.

1. 적절한 성능 측정을 선택한 다음 모델의 하이퍼 파라미터 (예 : 정규화)를 미세 조정하여 교차 검증 데이터 세트에서 만족스러운 결과를 얻고 일단 만족하면 테스트 데이터 세트에서 모델을 테스트하십시오. 이를 위해 15 %의 데이터를 교차 검증에 사용하고 15 %를 최종 테스트에 사용하십시오. Andrews Ng가 옹호하는 머신 러닝에서 확립 된 측정은 로 정의 된 F1 통계입니다.$2 * Precision * \frac{Recall}{Precision + Recall}$

2. 의사 결정 트리에서 'prior'매개 변수를 사용하여 데이터 세트에서 클래스의 이전 빈도를 알고리즘에 알리십시오 (예 : 1,000,0000 데이터 세트에 1,000 개의 양수가있는 경우 prior = c(0.001, 0.999)(R)).

3. 희귀 양성 사례의 오 분류에 대한 알고리즘을 심각하게 처벌하기 위해 사용하는 분류 함수에서 'weights'인수를 사용하십시오.

4. rpartR ( 예 : R)과 같은 일부 분류 알고리즘에서 'cost'인수를 사용하여 진 양성 및 진 음성의 오 분류에 대한 상대 비용을 정의하십시오. 희귀 클래스의 오 분류에 대해 자연스럽게 높은 비용을 설정해야합니다.

오버 샘플링은 데이터 세트에 의존적 관찰을 도입하고 통계 및 머신 러닝 모두에서 이루어진 독립성에 대한 가정을 위반하므로 오버 샘플링을 선호하지 않습니다.

나는 최근 주제에 대한 답변을 주었다 .

우리가하는 일은 다른 비율의 샘플을 선택하는 것입니다. 전술 한 예에서, "예"의 경우 1000 개, 예를 들어 "아니오"의 경우 9000 개일 수있다. 이 접근법은보다 안정적인 모델을 제공합니다. 그러나 실제 샘플 (100 만 행의 샘플)에서 테스트해야합니다.

보다 안정적인 접근 방법을 제공 할뿐만 아니라 리프트와 관련된 조치에 관한 한 일반적으로 모델이 더 좋습니다.

"통계 오버 샘플링"으로 검색 할 수 있으며 첫 번째 결과는 꽤 좋습니다 : http://www.statssa.gov.za/isi2009/ScientificProgramme/IPMS/1621.pdf

@Kay의 답변에 추가 첫 번째 솔루션 전략 : SMOTE (Synthetic Minority Oversampling )은 일반적으로 두 경험 사이의 타협을 유발한다고 생각하기 때문에 내 경험에서 샘플링보다 적게 또는 초과하는 것보다 낫습니다. 다변량 예측 변수 공간에 표시된 데이터 점을 사용하여 소수 클래스의 합성 샘플을 작성하고 해당 공간의 인접한 점 사이에 중간 점을 사용하여 새로운 합성 점을 작성하므로 두 클래스 크기의 균형을 맞 춥니 다. (중간 점을 모름, 알고리즘의 세부 사항은 여기