CART 트리는 예측 변수 간의 상호 작용을 캡처합니까?

이 논문 은 CART에서 각 단계에서 단일 공변량에 대해 이진 분할이 수행되므로 모든 분할이 직교하므로 공변량 간의 상호 작용은 고려되지 않는다고 주장합니다.

그러나 트리의 계층 적 구조는 예측 변수들 간의 상호 작용이 자동으로 모델링된다는 것을 보장한다고 주장하는 많은 매우 진지한 언급 이있다 (예를 들어, 이 논문 과 물론 Hastie).

누가 옳아? 카트 성장 트리는 입력 변수 간의 상호 작용을 캡처합니까?

CART 는 상호 작용 효과 를 캡처 할 수 있습니다 . 사이의 상호 작용 효과$X_1$ 과 $X_2$ 설명 변수의 효과가 발생할 때 발생 $X_1$ 반응 변수 $Y$ 의 수준에 따라 $X_2$. 이것은 다음 예제에서 발생합니다.

열악한 경제 상황의 영향 $X_1$)는 구매중인 건물 유형에 따라 다릅니다 ($X_2$). 사무실 건물에 투자 할 때, 경제 상황이 좋지 않으면 예상 투자 가치가 140,000 달러 감소합니다. 그러나 아파트 건물에 투자 할 때 예상 투자 가치는 20,000 달러 감소합니다. 경제 상황이 투자의 예상 가치에 미치는 영향은 구매하는 부동산의 유형에 따라 다릅니다. 이것은 상호 작용 효과입니다.

짧은 답변

CART는 상호 ​​작용을 캡처하는 데 도움이 필요합니다.

긴 대답

욕심 많은 알고리즘을 사용하십시오 (Chen and Guestrin, 2016).

잎의 평균은 조건부 기대치이지만 잎으로가는 모든 분할은 서로 독립적입니다. 기능 A 자체가 중요하지 않지만 기능 B와의 상호 작용에서 중요한 경우 알고리즘은 기능 A에서 분할되지 않습니다.이 분할이 없으면 알고리즘은 상호 작용을 생성하는 데 필요한 기능 B에서 분할을 예측할 수 없습니다.

트리는 가장 간단한 시나리오에서 상호 작용을 선택할 수 있습니다. 두 가지 기능이있는 데이터 세트가있는 경우$x_1, x_2$ 그리고 목표 $y = XOR(x_1, x_2)$알고리즘은 분할 할 것이 없지만 $x_1$ 과 $x_2$따라서, 당신은 네 잎을 얻을 것이다 $XOR$ 제대로 추정했다.

많은 기능, 정규화 및 분할 수에 대한 하드 제한으로 인해 동일한 알고리즘이 상호 작용을 생략 할 수 있습니다.

해결 방법

새로운 기능으로서의 명백한 상호 작용

Zhang의 사례 ( "Winning Data Science Competitions", 2015) :

욕심없는 트리 알고리즘

다른 질문에서 Simone 은 lookahead-based algorithms와 oblique decision tree를 제안 합니다.

다른 학습 접근법

일부 학습 방법은 상호 작용을 더 잘 처리합니다.

다음 은 통계 학습 요소 ( '요소의 선형 조합을 추출하는 기능')의 표입니다.