사전 클러스터링이 더 나은 예측 모델을 구축하는 데 도움이됩니까?

이탈 모델링 작업을 위해 다음을 고려했습니다.

1. 데이터에 대한 k 개의 클러스터 계산
2. 각 클러스터에 대해 k 개의 모델을 개별적으로 빌드하십시오.

그 이유는, 서브 스크 라이버의 집단이 동 질적이라는 것을 증명할 것이 없다는 것의 근거이다.

내 질문은 적절한 방법입니까? 위반 사항이 있거나 어떤 이유로 나쁜 것으로 간주됩니까? 그렇다면 왜 그렇습니까?

그렇지 않은 경우 해당 문제에 대한 모범 사례를 공유 하시겠습니까? 두 번째는 일반적으로 모델 트리보다 사전 클러스터링을 수행하는 것이 낫거나 나쁘다는 것입니다 (Witten, Frank-분류 / 회귀 트리에 정의 된대로 모델이 리프에 있음). "정상"클러스터링에 비해 이점이있는 경우 idk).

비슷한 문제를 해결하는 클러스터 방식 회귀 분석법 이 있습니다 (먼저 데이터를 군집화 한 다음 예측 모델을 구축함). 예를 들어 이것을 참조하십시오 .

주석이 되기에는 너무 긴 두 가지 점 :

• 순수한 클러스터 (즉, 한 클래스의 경우 만 포함)는 그 자체로는 문제가되지 않습니다. 소위 하나의 클래스 분류기 는 다른 클래스와 독립적으로 각 클래스를 모델링합니다. 그들은 이것을 완벽하게 처리 할 수 ​​있습니다.

• 그러나 클래스가 상당히 분리 된 방식으로 (즉, 클러스터가 다소 순수한 방식으로) 데이터 클러스터 인 경우 이는 매우 강력한 구조가 존재 함을 의미합니다. 즉, 클래스 레이블의 안내없이 클러스터 분석이 찾을 수있는 구조입니다. 이는 군집 분석에 사용 된 동일한 거리 측정을 기반으로 가장 가까운 인접 방법과 같은 특정 유형의 분류 기가 데이터에 적합 함을 의미합니다.

• 다른 가능성은 군집이 순수하지 않지만 군집과 분류 방법의 조합이 잘 할 수있는 상황은 나무에 적합합니다. 트리는 클러스터링의 일부를 수행합니다 (순수 노드는 문제로 간주되지 않습니다). XOR 문제의 2 클러스터 버전 인 인공적인 예는 다음과 같습니다.
  

• 순수한 클러스터를 가질 위험을 발생시키지 않고 클러스터 정보를 포함시키는 또 다른 방법은 클러스터링을 기능 생성 단계로 사용하는 것입니다. 데이터 매트릭스에 새로운 변형으로 클러스터 분석 결과를 추가하십시오.

• 어떤 이유로 나쁜지 묻습니다. 한 가지 함정은이 접근 방식이 많은 자유도를 가진 모델로 이어진다는 것입니다. 지나치게 적합하지 않도록 특히주의해야합니다.

• 예를 들어 mbq의 대답 과 같은 모델 기반 트리를 살펴보십시오. 나는 그들이 당신이 찾고있는 것과 매우 가까운 개념을 구현한다고 생각합니다. R 패키지 mobForest 와 같이 포리스트로 구현할 수도 있습니다 .

요즘 비슷한 문제를 다루고 있습니다. 분류기를 작성하는 수백 가지 기능이 있습니다. 다른 모델 (예 : 임의의 숲, 그라디언트 부스트 등)을 시도한 후에도 여전히 정밀도가 낮습니다. 그래서 몇 가지 클러스터링을 시도하고 다른 그룹으로 분류자를 작성하려고합니다. Anony-Mousse가 말했듯이 클러스터링에 모든 정보를 사용하면 분류기에서 더 많은 정보를 얻을 수 있습니까? 다음은 다음에 수행 할 작업입니다.

1. 클러스터링을 수행하려면 일부 기능 (사전 지식에 따라 덜)을 사용하십시오.
2. 분류기를 훈련시키기 위해 다른 기능을 사용하십시오.

나는 그것이 복잡성을 줄이는 데 도움이 될 수 있다고 생각합니다.

클러스터를 구축 한 다음 해당 모델 을 구축 하는 것은 절대적으로 가능합니다. 의견에 따르면 클러스터가 결과 변수를 완벽하게 분리하여 분류기에 어려움을 겪을 것이라는 이론적 인 문제는 이론적 문제이지만 필자는 그렇지 않을 것이라고 생각합니다 (특히 높은 차원의 경우). 또한 그러한 클러스터를 만들 수 있다면 예측을 위해 해당 클러스터를 사용할 수 있습니다!$k$$k$

또한 프로세스가 샘플로 시작 하면 분류기는 만 사용할 수 있습니다.$N$$N/k$견본. 따라서 회귀의 혼합을 사용하여 클러스터의 이질성을 통합하는 단일 분류기를 작성하는 데 클러스터를 사용하는 것이 더 강력한 방법입니다. 모델 기반 클러스터링에서는 데이터가 혼합 분포에서 생성된다고 가정합니다.$Y_i \sim N(\mu_i, \sigma_i^2)$ 어디 $i=1$ 확률로 $\pi$ 과 $i=2$ 확률로 $1-\pi$ 과 $\mu_1 \neq \ \mu_2$ 과 $\sigma_1^2 \neq \sigma_2^2$. 혼합 회귀는 공변량에 따라 데이터를 모델링 할 수있는 확장입니다.$\mu_i$ 로 대체 $\beta_i X_i$여기서 $\beta_i$추정해야합니다. 이 예는 일 변량 가우스 사례에 대한 것이지만 프레임 워크는 많은 데이터를 수용 할 수 있습니다 (다항식-로그는 범주 형 변수에 적합합니다). flexmix 패키지 R에 대한 좀 더 자세한 설명을 제공하고, 물론 상대적으로 쉽고 확장 가능한 방식이 방식을 구현합니다.

대안 적으로, 차별적 인 설정에서, 선택 분류 알고리즘 (예를 들어, NB, ANN, SVM, RF 등)을 훈련시키기위한 기능으로서 클러스터 할당 (하드 또는 소프트)을 통합하려고 시도 할 수있다.

음, 군집이 정말 좋으면 분류 기가 엉망이 될 것입니다. 훈련 데이터가 충분히 전환되지 않았기 때문입니다.

클러스터가 완벽하다고 가정하십시오. 더 이상 분류기를 제대로 훈련시킬 수 없습니다. 분류기는 긍정적이고 부정적인 예가 필요합니다!

랜덤 포레스트는 정반대를하는 데 매우 성공적입니다. 그들은 임의의 데이터 샘플을 취하여 분류기를 훈련시킨 다음 훈련 된 모든 분류기를 사용합니다.

작동하는 방법은 클러스터링을 사용한 다음 모든 클러스터 쌍 에 대해 적어도 일치하지 않는 경우 분류기를 학습하는 것입니다 (클래스가 두 개의 클러스터로 분할 된 경우 여전히 분류기를 학습 할 수 없습니다).