one-hot 인코딩을 사용할 때 열 중 하나를 삭제

기계 학습에서 동일한 정보를 효과적으로 인코딩하기 때문에 데이터 세트에 상관 관계가 높은 기능이 있으면 문제가 될 수 있습니다.

최근 누군가 범주 형 변수에 대해 원핫 인코딩을 수행하면 관련 기능이 생겨서 그 중 하나를 "참조"로 삭제해야한다고 지적했습니다.

예를 들어 성별을 두 변수로 인코딩하면 is_male과 is_female음의 상관 관계를 갖는 두 가지 기능이 생성되므로 두 기능 중 하나만 사용하여 남성을 말하는 기준을 효과적으로 설정하고 예측 알고리즘에서 is_female 열이 중요한지 확인하는 것이 좋습니다. .

그것은 나에게 의미가 있었지만 이것이 사실 일 수 있다고 온라인에서 아무것도 발견하지 못했습니다. 그래서 이것이 잘못 되었습니까?

가능한 (답이없는) 복제 : one-hot encode 기능의 공선 성이 SVM 및 LogReg에 중요합니까?

lmglm$^\dagger$ 됩니다. .

$^\ddagger$ .

다른 모델과 동일한 원칙을 사용하십시오. 얻은 예측이 어떤 열을 떠나는 지에 따라 달라지면하지 마십시오. 그렇지 않으면 괜찮습니다.

지금까지이 답변은 선형 (및 약간 비선형) 모델 만 언급합니다. 그러나 나무와 임의의 숲과 같은 매우 비선형 모델은 어떻습니까? one-hot과 같은 범주 형 인코딩에 대한 아이디어는 주로 선형 모델 및 확장에서 비롯됩니다. 그 맥락에서 파생 된 아이디어가 나무와 숲을 수정하지 않고 적용해야한다고 생각할 이유가 거의 없습니다! 일부 아이디어 는 Python에서 스파 스 데이터를 사용하는 Random Forest Regression을 참조하십시오 .

$^\dagger$

$^\ddagger$$\beta_, \beta_2, \beta_3$$\beta_1=0$$\beta_2-\beta_1, \beta_3-\beta_1$