의사 결정 트리는 거의 항상 이진 트리입니까?


21

내가 본 거의 모든 의사 결정 트리 예제는 이진 트리입니다. 이것은 보편적입니까? 대부분의 표준 알고리즘 (C4.5, CART 등)은 이진 트리 만 지원합니까? 내가 수집 한 것에서 CHAID 는 이진 트리로 제한되지 않지만 예외로 보입니다.

자식 중 하나에 대한 양방향 분할과 다른 양방향 분할은 단일 3 방향 분할과 동일하지 않습니다. 이것은 학문적 포인트 일 수 있지만 가장 일반적인 사용 사례를 이해하려고 노력하고 있습니다.

답변:


18

이것은 주로 기술적 인 문제입니다. 바이너리 선택으로 제한하지 않으면 트리의 다음 분할에 대한 가능성이 너무 많습니다. 따라서 귀하는 귀하의 질문에 대한 모든 요점에서 분명히 옳습니다.

대부분의 트리 유형 알고리즘은 단계적으로 작동하며 최상의 결과를 보장하지는 않습니다. 이것은 하나의 추가주의 사항입니다.

대부분의 실제 목적을 위해, 나무를 건축 / 정리 하는 동안 은 아니지만 , 두 종류의 분할은 서로 바로 후에 나타난다는 점에서 동일합니다.


첫 번째 요점을 증폭시키기 위해 : 가능한 스플릿 수는 기하 급수적으로 증가합니다. 1000 개의 고유 값이있는 연속 변수를 분할하는 경우 999 개의 이진 분할이 있지만 999 * 998의 3 차 분할이 있습니다.
Peter Flom-Monica Monica 복원

2
(1000131)=999998/2

5

어린이 중 하나에 대한 양방향 분할과 다른 양방향 분할은 단일 3 방향 분할과 동일하지 않습니다.

무슨 말인지 잘 모르겠습니다. 모든 다중 분할은 일련의 양방향 분할로 표시 될 수 있습니다. 3 방향 분할의 경우 먼저 A & B 대 C로 분할 한 다음 A를 B에서 분할하여 A, B 및 C로 분할 할 수 있습니다.

주어진 알고리즘은 특정 시퀀스 (특히 대부분의 알고리즘과 마찬가지로 탐욕스러운 경우)를 선택하지 않을 수 있지만 확실히 가능합니다. 그리고 임의의 숲이나 부스트 트리에서와 같이 임의의 무작위 또는 단계적 절차가 수행되면 올바른 분할 순서를 찾을 가능성이 높아집니다. 다른 사람들이 지적했듯이, 다 방향 분할은 계산 비용이 많이 들기 때문에 이러한 대안을 고려할 때 대부분의 연구자들은 이진 분할을 선택한 것으로 보입니다.

이것이 도움이되기를 바랍니다.


3
예, 먼저 A & B 대 C로 분할 한 다음 A를 B에서 분할하여 A, B 및 C를 달성 할 수 있음을 알고 있습니다. 실제로 주어진 알고리즘에서 특정 시퀀스를 선택하지 못할 수도 있습니다.
마이클 맥고완

2

의사 결정 트리 및 분할 (이진 대 다른 방법)의 사용과 관련하여 비 이진 분할이있는 CHAID 만 알고 있지만 다른 것도 있습니다. 나를 위해 비 이진 분할의 주된 용도는 여러 수준의 명목 변수를 최적으로 비닝하는 방법을 찾고있는 데이터 마이닝 연습입니다. 일련의 이진 분할은 CHAID가 수행하는 그룹화만큼 유용하지 않습니다.


비닝에 대해 생각하면이 질문에 대해 궁금해지기 시작했기 때문에 비닝에 대해 언급 한 것이 재미 있습니다.
마이클 맥고완

@Michael, 예. 작동하지만 정보를 버립니다. 나는 희박한 수준의 명목 변수를 결합해야 할 때-로지스틱 회귀 또는 SVM 및 많은 희박한 더미 변수가 문제를 일으키는 나무 유형 접근 방식없이 궁극적 인 모델링이 수행되는 경우
B_Miner

0

이것을 읽으십시오

실용적인 이유로 (조합 폭발) 대부분의 라이브러리는 이진 분할로 의사 결정 트리를 구현합니다. 좋은 점은 NP가 완전하다는 것입니다 (Hyafil, Laurent 및 Ronald L. Rivest. "최적의 이진 결정 트리를 구성하는 것은 NP가 완전합니다."Information Processing Letters 5.1 (1976) : 15-17.)

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.