혼합 데이터가 유클리드 기반 클러스터링 알고리즘에 문제가되는 이유는 무엇입니까?

대부분의 고전적 군집 및 차원 축소 알고리즘 (계층 적 군집, 주요 구성 요소 분석, k- 평균, 자체 구성 맵 ...)은 숫자 데이터를 위해 특별히 설계되었으며 입력 데이터는 유클리드 공간에서 점으로 표시됩니다.

많은 실제 문제에 혼합 된 데이터가 포함되어 있기 때문에 물론 문제입니다. 예를 들어 버스를 연구하는 경우 높이와 길이 및 모터 크기는 숫자이지만 색상에 관심이있을 수도 있습니다 (범주 형 변수 : 파란색). / 빨간색 / 녹색 ...) 및 용량 클래스 (순서대로 가변 : 작은 / 중간 / 대용량). 특히, 우리는 이러한 다른 유형의 변수를 동시에 연구하고자 할 수 있습니다.

예를 들어 Gower 비 유사성을 사용하여 계층 적 클러스터링 또는 다차원 스케일링에 연결하거나 거리 매트릭스를 입력으로 사용하는 다른 방법과 같이 클래식 클러스터링 알고리즘을 혼합 데이터로 확장하는 방법에는 여러 가지가 있습니다. 또는 예를 들어 이 방법, 혼합 된 데이터에 대한 SOM의 확장.

내 질문은 : 왜 혼합 변수에 유클리드 거리를 사용할 수 없습니까? 아니면 왜 그렇게 나쁜가요? 왜 범주 형 변수를 더미 인코딩 하고 모든 변수를 관측 값 사이의 거리에서 비슷한 가중치를 갖도록 정규화하고 이러한 행렬에서 일반적인 알고리즘을 실행할 수없는 이유는 무엇 입니까?

정말 쉽고 결코 끝나지 않았으므로 매우 잘못되었다고 생각하지만 누구나 이유를 말해 줄 수 있습니까? 그리고 / 또는 저에게 심판을주세요? 감사

무언가 를 계산할 수 없다는 것이 아닙니다 .

거리는 의미있는 것을 측정 하는 데 많이 사용됩니다 . 범주 형 데이터의 경우 훨씬 일찍 실패합니다. 그것이 하나 이상의 변수와 함께 작동한다면, 그것은 ...

신발 크기와 체질량 특성이 있다면 유클리드 거리는 그다지 의미가 없습니다. x, y, z가 거리 일 때 좋습니다. 그런 다음 유클리드 거리는 점 사이의 가시 거리입니다.

이제 변수를 더미 인코딩하면 이 의미 는 무엇 입니까?

또한 데이터가 분리 된 경우 유클리드 거리는 의미가 없습니다.

정수 x 및 y 값만 존재하는 경우 유클리드 거리는 정수가 아닌 거리를 생성합니다. 데이터에 다시 매핑되지 않습니다. 마찬가지로 더미 인코딩 변수의 경우 거리가 더미 변수의 양에 다시 매핑되지 않습니다 ...

예를 들어 k- 평균 군집화를 사용하려는 경우 거리에 관한 것이 아니라 평균 계산에 관한 것 입니다. 그러나 더미 인코딩 된 변수에는 합리적인 의미가 없습니다.

마지막으로 차원 의 저주가 있습니다. 변수 수를 늘리면 유클리드 거리가 저하되는 것으로 알려져 있습니다. 더미 인코딩 된 변수를 추가하면 거리 대비가 매우 빠릅니다. 단일 더미 변수가 모든 차이를 만들 수 있기 때문에 모든 것이 다른 것과 비슷합니다.

이러한 메트릭 기반 클러스터링 문제의 핵심은 보간 개념입니다.

방금 인용 한 방법을 취하고 무게와 같은 연속 변수를 고려하십시오. 데이터는 100kg이고 데이터는 10kg입니다. 새로운 99kg이 표시되면 본 적이 없어도 미터법을 통해 100kg에 접근 할 수 있습니다. 불행하게도, 이산 데이터에 대한 보간은 존재하지 않습니다.

이 질문에 대한 또 다른 논쟁은 그렇게 할 자연적인 방법이 없다는 것입니다. R에 3 개의 값을 할당하고 각 쌍 사이의 거리를 동일하게 만들려면 불가능합니다. 다른 카테고리로 지정하고 PCA를 실행하면 실제로 동일한 카테고리에 반영된 정보를 잃게됩니다.

비 순차 범주 형 값의 문제점은 더미 인코딩하면 순서를 지정하므로 변수에 새로운 의미가 있다는 것입니다. 예를 들어 파란색을 1로, 주황색을 2로, 녹색 3으로 인코딩하면 주황색 값을 가진 데이터 패턴이 파란색 값을 가진 패턴보다 녹색 값을 가진 패턴에 더 가깝다는 것을 의미합니다.

이를 처리하는 한 가지 방법은 새로운 기능 (열)을 만드는 것입니다. 각각의 고유 한 값에 대해 새 이진 기능을 만들고 true / false로 설정합니다 (즉, 이진은 값을 인코딩하고 각 비트를 열로 만듭니다). 이 새로운 기능 세트의 각 데이터 패턴에 대해 하나의 기능 만 값 1을 사용하고 나머지는 0을 갖습니다. 그러나 이것은 일반적으로 1에 가까운 중심 값을 둘 이상의 기능에 할당하기 위해 훈련 알고리즘을 중단시키지 않습니다. 이 과정은 해석 문제를 일으켜 데이터 영역에서 이해가되지 않을 수 있습니다.

"용량 클래스", 즉 정렬 된 범주에 대해 동일한 문제가 발생하지 않습니다.이 경우 숫자 값 할당이 적합하기 때문입니다.

물론 다른 특성이나 측정 단위 또는 다른 값 범위의 기능을 사용하는 경우 항상 값을 정규화해야합니다.

/programming/19507928/growing-self-organizing-map-for-mixed-type-data/19511894#19511894

/programming/13687256/is-it-right-to-normalize-data-and-or-weight-vectors-in-a-som/13693409#13693409

대답은 실제로 매우 간단합니다. 더미 변수의 정보가 실제로 무엇인지 이해하면됩니다. 더미 변수의 개념은 요인 수준의 존재 여부를 나타냅니다 (범주 형 변수의 개별 값). 그것은 존재 여부에 대한 정보를 저장함으로써 측정 불가능하고 정량화 할 수없는 것을 표현하기위한 것입니다. 이것이 더미 변수가 나타내는 범주 형 변수의 이산 값 (또는 마이너스 1)만큼 이진 숫자로 표현되는 이유입니다.

요인 수준을 0/1 값으로 나타내는 것은 선형 모형과 같은 분석 방정식에서만 의미가 있습니다 (통계 모형의 계수를 해석 할 수있는 사람들에게는 쉬운 개념 임). 더미 변수에서, 기본 범주 형 변수의 정보는 비트 순서로 저장됩니다. 입력 샘플을 피처 공간에 매핑하기 위해 해당 비트를 차원으로 사용하는 경우 (유사성 / 거리 매트릭스의 경우와 같이) 비트 순서의 정보가 완전히 손실됩니다.