상호 작용은 회귀 상황에서만 유용합니까?

나는 항상 회귀의 맥락에서 상호 작용이라는 용어를 읽었습니다. knn 또는 svm과 같은 다른 모델과의 상호 작용도 고려해야합니까?

이 경우 , 100 또는 더 많은 기능을하고 있습니다 말 1000 명 유용한 상호 작용을 찾을 수있는 일반적인 방법이 무엇인지 관찰? 모든 조합을 사용해보십시오? 아니면 합당한 조합 만 사용합니까?$50$$100$$1000$

$X_i * X_j$

이것을 보는 가장 간단한 방법은 XOR-Problem을 사용하는 것입니다. 비선형 조합이 필요하기 때문에 상호 작용이없는 회귀 모델로는이 문제를 해결할 수 없습니다.

반면 KNN 및 SVM (및 기타 여러 모델도)은 범용 함수 근사값입니다. 즉, 입력을 선형 방식으로 만 결합 할 수있을뿐만 아니라 비선형으로도 가능합니다. 충분한 레이어 나 적절한 커널이 주어지면 기본적으로 필요에 따라 자체 상호 작용을 "만들"수 있습니다. 그러나 특정 상호 작용이 중요하다는 것을 알고 있거나 예상 할 경우 모델을 올바른 방향으로 안내하기위한 입력으로 사용할 수 있습니다.

마찬가지로 트리 기반 모델은 상호 작용으로 만 구성된 것으로 해석 될 수 있습니다. 기본적으로 트리 기반 모델에서 분할하면 모든 이전 변수와 특정 상호 작용이 생성됩니다.

$N$$2^N$

아니.

$(x_1,x_2)$$(x_1^2,x_2^2,x_1x_2)$

$10^{10}$

따라서 다른 모델에서는 상호 작용 만이 널리 사용되지 않았습니다. 상호 작용에 더하여, 다른 모델은 기능 엔지니어링으로 더 많은 것을 시도합니다. 두 개의 열을 곱하는 대신 더 복잡한 기능이 파생됩니다.

조정 된 R- 제곱, 가능성 회귀에 대한 BIC (또는 AICc 및 기타), VIF 및 ANOVA의 F- 통계를 개선하는 상호 작용 (후자는 부분 확률을 사용하여 비 기여로 판단되는 개별 매개 변수 없음).

또한 매개 변수화가 개별 변수의 영향과 상호 작용을 모두 크게 개선 할 수 있다는 점은 매우 중요하지만 요구되지는 않습니다. 그러나 BIC, AIC 및 기타 가능성 품질 측정은 이러한 목적으로 조정 된 R- 제곱, VIF 및 ANOVA의 F- 통계량을 남겨두고 다른 재분석을 비교하는 데 유효하지 않습니다.