낮은 분류 정확도, 다음에 수행 할 작업

그래서 저는 ML 분야의 초보자이며 분류를하려고합니다. 내 목표는 스포츠 이벤트의 결과를 예측하는 것입니다. 나는 몇 가지 역사적 데이터를 수집했으며 이제 분류기를 훈련하려고합니다. 나는 약 1200 개의 샘플을 얻었고, 그중 0.2 개는 테스트 목적으로 분리되었으며 다른 샘플은 다른 분류 기준으로 그리드 검색에 포함되었습니다 (교차 유효성 검사 포함). 나는 선형, rbf 및 다항식 커널과 랜덤 포레스트로 SVM을 시도했습니다. 불행히도 0.5보다 큰 정확도를 얻을 수는 없습니다 (임의의 무작위 선택과 동일). 그런 복잡한 사건의 결과를 예측할 수 없다는 것을 의미합니까? 아니면 적어도 0.7-0.8 정확도를 얻을 수 있습니까? 가능하다면 다음에 무엇을 살펴 봐야합니까?

• 더 많은 데이터를 얻으시겠습니까? (데이터 세트를 5 배까지 확대 할 수 있습니다)
• 다른 분류기를 사용해 보시겠습니까? (물류 회귀, kNN 등)
• 기능 세트를 다시 평가 하시겠습니까? 분석 할 ML 도구가 있습니까? 어떤 기능이 적합하고 어떤 기능이 적합하지 않습니까? 어쩌면 기능 세트를 줄여야합니까 (현재 12 개의 기능이 있음)?

우선, 분류자가 임의의 선택보다 나은 방법이 아닌 경우 단순히 기능과 클래스 사이에 연결이 없을 위험이 있습니다. 그러한 입장에서 자신에게 물어보아야 할 좋은 질문은 날씨 나 도메인 전문가가 주어진 기능을 기반으로 수업을 임의의 분류 자보다 더 정확하게 추론 할 수 있다는 것입니다. 그렇지 않은 경우 더 많은 데이터 행을 가져 오거나 분류자를 변경해도 도움이되지 않습니다. 당신이해야 할 일은 다른 기능을 사용하여 더 많은 데이터를 얻는 것입니다.

반면에 클래스를 유추하는 데 필요한 정보가 이미 레이블에 있다고 생각되면 분류 기가 높은 편향 또는 높은 분산 문제를 겪고 있는지 확인해야합니다.

이를 위해 훈련 예제의 함수로 유효성 검증 오류 및 학습 세트 오류를 ​​그래프로 표시하십시오.

선이 같은 값으로 수렴하고 끝에 가까워지면 분류 기가 바이어스가 높고 더 많은 데이터를 추가해도 도움이되지 않습니다. 이 경우 좋은 분류는 분산이 더 높은 분류기를 변경하거나 단순히 현재 분류기의 정규화 매개 변수를 낮추는 것입니다.

반면에 선이 상당히 멀리 떨어져 있고 훈련 세트 오류가 적지 만 유효성 검사 오류가 높은 경우 분류 기가 분산이 너무 높습니다. 이 경우 더 많은 데이터를 얻는 것이 도움이 될 것입니다. 더 많은 데이터를 얻은 후에도 분산이 여전히 너무 높으면 정규화 매개 변수를 늘릴 수 있습니다.

이것은 당신과 같은 문제에 직면했을 때 사용할 일반적인 규칙입니다.

건배.

분류를 시도하기 전에 물러서서 탐색 데이터 분석을 수행하는 것이 좋습니다. 관심있는 결과와 관련이 있는지 확인하기 위해 개별적으로 기능을 검사 할 가치가 있습니다. 사용자가 가진 기능이 클래스 레이블과 관련이 없을 수도 있습니다. 보유한 기능이 사용되는지 어떻게 알 수 있습니까?

관계 테스트를 위해 가설 테스트 또는 상관 관계 분석을 시작할 수 있습니다. 지형지 물에 대한 클래스 별 히스토그램을 생성하는 것 (즉, 동일한 축에 지정된 지형지 물에 대한 각 클래스에 대한 데이터의 히스토그램을 플로팅)은 지형지 물이 두 클래스를 잘 구별하는지 보여주는 좋은 방법 일 수 있습니다.

탐색 적 분석 결과가 분류 선택에 영향을 미치지 않도록하는 것이 중요합니다. 동일한 데이터에 대한 사전 탐색 분석을 기반으로 분류 기능을 선택하면 과적 합 및 편향 성능 추정치가 발생할 수 있지만 ( 여기에서 논의 참조 ) 탐색 분석을 통해 최소한 수행하려는 작업이 고르지 않은지 알 수 있습니다. 가능한.

데이터를 교육 데이터와 테스트 데이터로 분리하는 것이 좋습니다.

훈련 할 때 훈련 오류가 발생 했습니까? 그렇지 않은 경우 훈련 알고리즘에 버그가있을 수 있습니다. 테스트 세트의 오류가 트레이닝 세트의 오류보다 클 것으로 예상되므로 훈련 세트에 허용 할 수 없을 정도로 높은 오류가있는 경우 성공할 가능성이 거의 없습니다.

기능을 제거하면 일부 유형의 과적 합을 피할 수 있습니다. 그러나 훈련 세트의 오류를 개선해서는 안됩니다. 트레이닝 세트의 오류가 낮고 테스트 세트의 오류가 높으면 지나치게 유연한 기능 세트를 사용하여 과적 합한 것입니다. 그러나 테스트 세트보다 교차 검증을 통해이를 확인하는 것이 더 안전합니다. 테스트 세트를 기반으로 기능 세트를 선택하면 더 이상 테스트 세트로 유효하지 않습니다.

"데이터의 도표를 먼저보십시오"라는 원칙을 따르십시오. 두 가지 공변량에 대한 두 가지 클래스 조건부 밀도의 2D 산점도입니다. 이것들을보고 실제로 예측할 수 없음을 나타내는 분리가 없다면 모든 공변량으로이를 수행 할 수 있습니다. 이것은 공변량을 사용하여 예측하는 능력에 대한 아이디어를 제공합니다. 이 변수가 조금씩 분리 될 수 있다는 희망이 있다면 선형 판별, 2 차 판별, 커널 식별, 정규화, 트리 분류, SVM 등에 대해 생각하기 시작하십시오.