의사 결정 트리 알고리즘이 선형 또는 비선형입니까?


21

최근 내 친구가 인터뷰에서 의사 결정 트리 알고리즘이 선형 또는 비선형 알고리즘인지 물었습니다. 이 질문에 대한 답을 찾으려고했지만 만족스러운 설명을 찾지 못했습니다. 누구 든지이 질문에 대한 해결책에 대답하고 설명 할 수 있습니까? 또한 비선형 기계 학습 알고리즘의 다른 예는 무엇입니까?


어떤 맥락에서 회귀, 선형으로 분리 가능한 데이터를 의미합니까?
image_doctor

1
그들은 아마도 계급 사이의 경계를 의미했을 것입니다. 초평면으로 구성되어 있습니까?
Emre

답변:


17

의사 결정 나무의 비선형 매핑 Xy. 이것은 임의의 기능을 사용하고 최대 깊이까지 트리를 만드는지 쉽게 알 수 있습니다.

예를 들면 다음과 같습니다.

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

물론 이것은 완전히 과적 합 된 트리이며 일반화되지 않습니다. 그러나 의사 결정 트리가 비선형 매핑 인 이유를 보여줍니다.


10

최근에 내 친구가 인터뷰에서 의사 결정 트리 알고리즘이 선형 또는 비선형 알고리즘인지 물었습니다.

의사 결정 트리는 신경망 등과 같은 비선형 분류기입니다. 일반적으로 비선형으로 분리 가능한 데이터를 분류하는 데 사용됩니다.

회귀 예제를 고려하더라도 의사 결정 트리는 비선형입니다.

예를 들어 선형 회귀선은 다음과 같습니다.

여기에 이미지 설명을 입력하십시오

빨간 점은 데이터 점입니다.

의사 결정 트리 회귀 플롯은 다음과 같습니다.

여기에 이미지 설명을 입력하십시오

따라서 의사 결정 트리는 비선형입니다.


나무의 깊이를 늘리면 더 많은 피팅이 생겨 비선형 구조가됩니다.
Dawny33

3

의사 결정 트리는 선형이 아닙니다. 선형 회귀와 달리 독립 변수와 종속 변수 사이의 관계를 나타내는 방정식은 없습니다.

전의:

선형 회귀-과일 가격 = b0 + b1 * Freshness + b2 * Size

의사 결정 트리-노드 : 익은-예 또는 아니오 | 신선-예 또는 아니오 | 크기-<5,> 5이지만 <10 및> 10 |

두 번째 경우에는 독립 변수와 종속 변수 사이에 선형 관계가 없습니다.


3

많은 사람들이 지적했듯이 회귀 / 결정 트리는 비선형 모델입니다. 그러나 그것은 선형 모델입니다. 각 이웃 (비선형 방식으로 정의)에서는 선형입니다. 실제로 모델은 지역 상수 일뿐입니다.

가장 간단한 경우, 하나의 변수와 하나의 노드로 이것을 보려면 θ트리는 선형 회귀 로 작성 될 수 있습니다 .

와이나는=α11(엑스나는<θ)+α21(엑스나는θ)+ϵ나는

어디에 1(에이) 인디케이터 기능으로, 이벤트 A가 참이면 1을, 그렇지 않으면 0을 취합니다.


2

의사 결정 트리는 비선형 분류기입니다. 데이터 세트에 일관된 샘플이 포함 된 경우, 즉 동일한 입력 기능과 모순 레이블이없는 경우 의사 결정 트리는 데이터를 완전히 분류하여 과적 합할 수 있습니다. 더 명확히하기 위해V기음 의사 결정 트리의 차원은 2 어느 이진 기능의 수입니다. 결과적으로 가설 공간은22의사 결정 트리를 사용하여 처리 할 수있는 다양한 가능성. 중요한 점 중 하나는 의사 결정 트리가 가질 수있는 가능한 잎 수입니다. 당신이 가지고 있다고 가정 와 샘플 이진 기능. 각각의 수량에 따라 가능성의 수는나는(2,). 의사 결정 트리는 선형으로 분리 가능한지 여부에 관계없이 훈련 데이터 세트에 과다 적합 할 수 있으며, 사람들 은 나무를 가지 치기 ID3또는 C4.5가지 치기 또는 나무의 높이와 길이에 대한 임계 값을 설정하여 과적 합하지 않습니다. 데이터.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.