데이터 세트를 분류 할 수 없다고 언제 말합니까?

나는 실제로 어떤 종류의 분류도 할 수없는 데이터 세트를 분석했습니다. 분류자를 얻을 수 있는지 확인하려면 일반적으로 다음 단계를 사용했습니다.

1. 숫자 값에 대한 레이블의 상자 그림을 생성합니다.
2. 클래스가 분리 가능한지 확인하기 위해 차원을 2 또는 3으로 줄이십시오. 때로는 LDA를 사용해보십시오.
3. SVM 및 임의 포리스트에 맞게 조정하고 기능의 중요성을 살펴보고 기능이 의미가 있는지 확인하십시오.
4. 언더 샘플링 및 오버 샘플링과 같은 클래스와 기술의 균형을 변경하여 클래스 불균형이 문제가되는지 확인하십시오.

내가 생각할 수있는 다른 많은 방법들이 있지만 시도하지는 않았습니다. 때로는 이러한 기능이 좋지 않으며 예측하려는 레이블과 관련이 없다는 것을 알고 있습니다. 그런 다음 비즈니스 직관을 사용하여 연습을 끝내고 더 나은 기능이나 완전히 다른 레이블이 필요하다는 결론을 내립니다.

내 질문은 데이터 과학자가 이러한 기능으로 분류를 수행 할 수 없다고 어떻게보고합니까? 이를보고하거나 다른 알고리즘으로 데이터를 피팅하는 통계적 방법이 있습니까? 그리고 검증 메트릭을 보는 것이 최선의 선택입니까?

데이터에 따라 다릅니다. 사람 수준 오류라고합니다. 인쇄 된 책을 읽는 것과 같은 작업, 사람이 읽기 어려움을 겪지 않으며 인쇄 품질이 나쁘지 않은 한 실수하지 않을 수 있습니다. 손으로 쓴 원고를 읽는 것과 같이 작가의 글꼴이 독자에게 이상하다면 모든 단어를 이해하지 못하는 경우가 많습니다. 첫 번째 상황에서 휴먼 레벨 오류가 너무 낮고 학습 알고리즘이 동일한 성능을 가질 수 있지만 두 번째 예는 일부 상황에서 휴먼 레벨 오류가 너무 높고 일반적인 방식으로 (실제로 동일한 경우) 학습 알고리즘에는 너무 많은 오류 비율이 있습니다.

통계 학습에는 Bayes Error클래스 분포가 겹칠 때마다 오류 비율이 큰이라는 것이 있습니다. 기능을 변경하지 않으면 현재 배포판의 Bayes 오류가 최고 성능이며 전혀 줄일 수 없습니다.

나는 또한 당신이 여기 를 읽는 것이 좋습니다 . 지정된 지형지 물과 관련하여 많은 양의 Bayes 오류가 발생한 문제는 지형지 물 공간에서 분류 할 수 없는 것으로 간주됩니다 . 다른 예로 조명이 켜진 자동차를 분류한다고 가정 할 수 있습니다. 아침에 그렇게하려고하면 많은 오류가있을 수 있으며 학습 알고리즘을 훈련하기 위해 동일한 이미지를 사용하는 경우에도 마찬가지 일 수 있습니다.

또한 수업 분포를 변경하지 않는 것이 좋습니다. 이러한 경우 경계 근처의 분류기 결과는 완전히 임의적입니다. 머신 러닝 알고리즘 학습을위한 데이터 배포는 변경되지 않아야하며 실제 상태와 동일해야합니다.

한 클래스의 샘플 요소와 다른 클래스의 샘플 요소를 가져옵니다. 이 두 요소가 정확히 동일한 특징 벡터를 가질 수 있습니까? 그 경우 지금까지 다음 일이 두 클래스는 (분류 결정이 주어진 요소에 대한 특징 벡터에 전적으로 기반으로하기 때문에) 현재의 특징 벡터를 사용하여 완전히 seperable 수 없습니다.

반면, 한 클래스의 * every "요소에 다른 클래스의 해당 요소가있어 두 요소가 동일한 특징 벡터를 가지면 현재 피쳐 벡터를 사용하여 두 클래스를 구별 할 수 없습니다.

또한 해당 조건이 일부 요소에만 적용되고 다른 요소에는 적용되지 않는 경우에는 그 사이에 있으며 분류 기가 현재 기능 세트를 사용하여 얼마나 잘 수행 할 수 있는지 측정하는 기준으로 사용할 수 있습니다.

이러한 모든 평가를 사용하여 더 많은 피쳐를 추출해야하는 다양한 각도로 논쟁 할 수 있습니다.